Инструменты писателя. Технические средства, Программы анализа теста, орфографии и т.п. Опции Подписка на тему Сообщить другу Версия для печати Скачать тему Подписка на этот форум Режимы отображения Переключить на: Древовидный Стандартный Переключить на: Линейный

[Альберт Садыкoff]

Немного пояснения
"..Шестой признак - установление полной тишины в голове.

Что это значит? А то, что продвинутый человек при установлении тишины в голове может соединится со своим подсознанием, Ангелом-хранителем, Высшим "Я", Ядром инкарнационной ячейки и так далее, называйте это как хотите.

В любом ... "
https://zen.yandex.ru/media/id/5a7ae46c5790...bab67370e4309a1

[Flint2]

Долго думал и всё никак не мог решится написать.
Тему тоже постеснялся создавать.

Давно увлекаюсь компьютерной лингвистикой.
Со знакомыми мужиками, с кем учился в МГУ(Один белая ворона с мехмата), создали лингвистический движок, который стал прототипом Google переводчика (это официально).(Кому интересно, могу выложить). Вообще, кто работает в этой сфере, народу мало и все друг друга знают чуть-ли не в лицо по всему шарику. Я решил пойти дальше, чтобы на пенсии не скучать, и стал заниматься процедурной генерацией. Конечная цель не автоматическое написание книжек, а создание удобного инструмента для пишущей братии.
Это вовсе не перефразировщик, коих море разливанное и не нейронные сети, ну может быть за исключением карт Кохонена и методов последовательного анализа(это дело могу предоставить, правда это делалось давно при царе Горохе, когда C++ в проекте ещё не было, всё сделано на delphi, но портировать не составит труда). Мода пошла на нейронные сети и все дружно забыли про Смысл<=>Текст(ссылка длинная, проще погуглить 'Смысл<=>Текст') Мельчука, что и положено в основу разработки.

Собственно сам вопрос:
Возможно ли мне здесь выкладывать примеры абзацев, предложений, может быть нескольких абзацев, выражающих законченный эпизод, или мысль, но не как длинных глав, сопровождая нелёгкими вопросами?
+ Какие то мелкие программки для задания смысла будущего текста, чтобы отработать моменты дружественного взаимодействия человека с системой. Это вовсе не сводится к визуальному интерфейсу.
Перечитал великое множество литературы от стилистики до доморощенных философов, и чуть ли не знаю всё наизусть - впору становится писателем, но необходима, как воздух, обратная связь.
Полагаю, что многие не откажут себе в удовольствии покритиковать, а метры дать дельный совет.

[Мышель]

Полагаю, что многие не откажут себе в удовольствии покритиковать, а метры дать дельный совет.

Похоже, может быть интересно.
А покритиковать - всегда пожалуйста.

[Flint2]

Яволь, ̶М̶а̶р̶г̶а̶р̶и̶т̶а̶ ̶П̶а̶в̶л̶о̶в̶н̶а̶ Мышель!
Может быть новую отдельную тему создать для удобства и чтобы не мусорить в других темах?
Только надо подготовить вводную часть и основополагающие вопросы.
Как считаете?

[Альберт Садыкoff]

Вообще, надо было сразу сто то закинуть, с этими объяснениями. Сейчас конечно интригу создали, и будут какие то завышенные ожидания. Ревнивые, уже ножи заготовили; будут резать, не "дожидаясь перитонита"
Читал, на политические темы уже вполне автомат тексты строчит.

[Flint2]

Вообще, надо было сразу сто то закинуть, с этими объяснениями.

Боюсь, что сразу многое будет непонятно и что закидывать? - куски текста, или программки, всегда пожалуйста.
Например: https://disk.yandex.ru/d/gh_X68tAJlfKsg (сделано за двадцать минут, специально для этого поста, так что...), но это типичное не то. Главное сформулировать вопрос, чтобы его поняли. Ведь я выкладывал выше простейшую поделку, но никто даже одного вопроса не задал "чего и как". А там всё не очевидно, что тогда говорить о более сложном.

Ревнивые, уже ножи заготовили

Ну, это зря!
Не секрет, что на многих метров иногда работает куча народа выполняя рутинную работу.
А потом метр, допустим Рубенс, подходит к холсту и делает несколько основополагающих мазков, которые превращают картину в шедевр.

Честно говоря, не лёгкая задача растолковать для чего это нужно, чем объяснить алгоритм: когда подаётся фабула, описание и рассуждения и когда, и как они могут быть совмещены в одном предложении, или в ходе диалога, а то размазаны по нескольким абзацам. Об это мы ещё поговорим.

[Мышель]

Может быть новую отдельную тему создать для удобства и чтобы не мусорить в других темах?

Разумеется, отдельной темой. Вы, главное, пилите, пилите. Только длинную вводную не стоит, коротенько: кто, что, зачем, и какая польза человечеству от этого будет. Или хотя бы авторам.

[Альберт Сысоев]

Доброго всем здоровья, дорогие коллеги!!!

Если вы не против, действительно, кто вас будет спрашивать, я просто напишу пост и все, поделюсь немного своим опытом и знаниями. В свое время, несколько лет назад, я написал небольшую книгу, которую просто дарю вам, кого заинтересует конечно, о программном обеспечении для людей творческих профессий. Некоторые программы уже обновились до следующих версий, но по структуре и функциям остались прежними. Ниже опишу все программы, не все они вошли в книжку. Собственно сама книга: «Программное обеспечение для писателей и творческих людей» PDF фалй 50Mb | FB2 файл 12 Mb

Первая программа. Один из старейших офисных пакетов, который распространялся, распространяется и будет распространяться для бесплатного использования, как вы быту, так и в коммерческих целях — Open Office Org. Не надо тут рассказывать про фекалии, созданные на его основе и называющейся «LibreOffice» или как там это дерьмо зовется правильно. Скачать вы его можете по одноименному адресу https://openoffice.org

Программа под вторым номером по порядку, но не по функциональности, главное общественности не рассказывать, что программа, в принципе хороша, но разработчики, видимо, ненавидели пользователей: oStorybook от наших французских недругов. В этом ПО вы сможете воедино, логично и не без геморроя спланировать свой роман, описать героев и получить некоторую статистику. Для работы потребуется установленная на компьютере Java.

Про третью, по счету, программу уже писалось в этой теме ранее. yWraiter, великолепная программа, с убогим интерфейсом, от нашего австралийского коллеги писателя-фантаста Симона Хейнса, поможет вам распланировать и создать любой роман. В приложении реализовано множество функций по описанию героев, локаций, вещей, сцен и т.п. На мой взгляд, лишь недостаточно проработанный интерфейс является единственным минусом этого программного обеспеченья.

Четвертым пунктом укажу «Scrivener», разработанный международной командой программистов, является ПЛАТНЫМ ПО, но даст вам возможность насладиться пробной версией в течении месяца. Для тех, кто работает на Linux программа будет бесплатной, но только на английском языке. Версия для Маков будет дороже чем для Виндовс, типа команда разработчиков друга, и платить им приходится больше. Программа великолепна, как своим интерфейсом, так и возможностями по планированию и реализации ваших произведений. На торрентах есть пролеченные русские версии.

Собственно пятым пунктом будет не программа, а сервис — www.orfogramka.ru, на котором вы сможете проверить ваш текст на орфографические, грамматические ошибки. Кто не знает Орфограмку, Орфограммку занют все. Кто не знает, тот ду... На ресурсе есть специальная бесплатная лицензия для русских писателей, кто художественные тексты пишет. Бесплатность работает, даже не взирая на несколько сбоев за последние годы, на этом сайте, которые приводили к полному обнулению всех лицензий, но техподдержка очень вменяема, восстанавливали мою лицензию, главное не терять чек о первой оплате

Ну и в шестых: программа, на которой, ваш покорный слуга, работает уже второй год подряд — Bibisco, не надо только звонкую согласную на глухую менять. Основная версия этой программы бесплатна. Я же прикупил себе ее, потому что просто влюбился в нее. Пришлось изменять Scrivener, после чего вообще с ним расстался, но иногда скучаю. В общем и целом достаточно хорошая программа, которая помогает писать от эссе и рассказа, до романа и эпопеи. эх знал бы Гюго... Текстовый редактор в ней так себе, но я вообще в ОпенОфисе набираю текст, в Бибиско только складирую и расставляю по сценам. Но в этой программе, на мой взгляд, лучшее описание главных героев, их внешности и характеров. Да и простенькая она, эта программа.


Думаю, коллеги, мой небольшой опыт станет вам подспорьем в вашем творчестве.

P.S. Не передавайте, пожалуйста, мою книгу пиратам, имейте совесть. у них уже она есть.

P.P.S. Все названия ПО очень хорошо находятся в поисковиках, что отечественных, что недружественных. мне просто лень ссылки размещать.

С уважением, А.С.

[Дон Рэба]

А здесь и не стОит размещать ссылки на сторонние ресурсы без особого разрешения Господа Бога администрации.

[Гость_Андрей Исаев_*]

И нахрена все эти мудрёные программки? Я вообще, когда только писать начал, пользовался Блокнотом. А потом перешёл на Ворд. И ничего, как-то пять книг написал, и сейчас пишу шестую.

[Альберт Сысоев]

И нахрена все эти мудрёные программки? Я вообще, когда только писать начал, пользовался Блокнотом. А потом перешёл на Ворд. И ничего, как-то пять книг написал, и сейчас пишу шестую.

Для чего эти «программки», мне объяснить в нескольких словах будет достаточно затруднительно, тут, видимо, для понимания, нужен определенный уровень подготовки. Но Блокнот вполне замечательный текстовый редактор, а MS Word, вообще один из лучших, правда там затруднительно планировать и собирать информацию. Особенно в Блокноте, но дело-то ведь совершенно не в этом, главное ведь талант и вдохновение, не правда ли?

[Альберт Садыкoff]

Немного копаю тему нейронные сети для писателя. Кто первым освоит этот инструмент, тот будет в топе. Пробовал и на АТ поднять тему, просмотры есть, но без комментов. Пошёл к пограмистам, кинул одному стью с АТ, что топы миллионы получают. Надеюсь что то получиться.
Нейронка, пока, сама шедевр не напишет; но направляемая разумом человека, заткнет за пояс всех сетераторов, не говоря уж и о книжных ( или наоборот).

Можно собрать свою модель руgpt, натаскивают на готовом, приготовленном, Достоевском файле. Ну и далее, воспитывать литературного монстра своего стиля. Вероятно, вмкеоре появятся ограничения, типа гетто для нейронщиков. А это всего лишь лит негр современный.

[Flint2]

Немного копаю тему нейронные сети для писателя. Кто первым освоит этот инструмент, тот будет в топе.

Наверное огорчу, если скажу, что сетки, каковые они есть на сегодняшний день, не тянут и не могут по определению.
Если вы копаете в этом направлении, то знаете, что сетка для генерации текста ничто иное, грубо говоря, как цепи Мркова и Word2vec(ворд в вектор) в одном флаконе. этого недостаточно.
https://en.wikipedia.org/wiki/Word2vec https://ru.wikipedia.org/wiki/%D0%A6%D0%B5%...%BE%D0%B2%D0%B0
Цепи Мркова для генерации текста, в свою очередь, производная от N-грамм.
https://ru.wikipedia.org/wiki/N-%D0%B3%D1%8...%BC%D0%BC%D0%B0
Тут нужен другой подход. То что в интернете демонстрируют заточены под привлечение "подписчиков" и коммерческих задач. Что то вроде разговорных ботов, или для продолжения небольшого куска текста, но как правило совсем не тем, что вы надеялись получить. Все вычислительные усилия в таких сетках сосредоточены на понимании текстового запроса, а это очень легко делается, как и в сетках для рисования по запросу. Что касается литературных способностей, то они так себе - все они обучены халтурно, а некоторые просто тупо заливают библиотеки текстов, что говорит о полном не владении вопросом.
Мы с коллегами (я, знакомый сценарист, Томаш Миколов из Google, ещё один товарищ из Брненского университета, знакомый профессор из МГУ и ещё два кренделя из Гарварда и Кембриджа) уже давно занимаемся этим вопросом(c 2008 года), а именно генерацией литературного текста - задача нелёгкая, но интересная. До недавнего времени был сайт, но в силу известных обстоятельств всё накрылось медным тазом. В России работа продолжается.
Если кратко, то вот к чему пришли:
(Мы все не писатели, не считая сценариста и можно ли его считать писателем, но такая схема даёт наилучшие результаты генерации текста сетью .)
1. Задаётся тема - что хотим показать (лейтмотив).
2. На фоне чего происходят действия (война, приключения, любовная история, детективная история, катастрофа)...
3. Сеттинг. (время и место) - технологический боевик, киберпанк, космическая фантастика, историческая драма...
4. Задаётся глобальная сценарная линия.
Сценарий может генерироваться, или строится эвристически(попросту придумывается) в таком виде. https://disk.yandex.ru/d/E_oAJIUAmX7apA
Эта программа и схема сценария взяты из переписки, по этому пусть не удивляют комментарии написанные там. Это крайний вариант интерфейса к сети. Это макет, по этому там отражены не все пункты 'озвученные' выше и ниже.
5. Фрактально раскрываются элементы глобальной схемы подобными схемами.
6. Задаётся(выбирается) от какого лица ведётся повествование.
7. И наконец тип сюжета. Не путать с тридцатью шестью драматическими ситуациями Польти.
Имеется в виду композиция: прямоточная, окольцовка, точечная (новеллистическая), плетеная...
Это не обязательный параметр, он нужен только для процедурной генерации сценария. На самом деле схема сюжета сама выражает этот параметр.
Сеть выруливает от пункта к пункту графической схемы учитывая эти параметры.
Вся сложность и трудоёмкость(человеко-часы) в подборе текстов для обучения. Куски текста должны соответствовать сути функций - элементов сценария.
Мне кажется такая схема и наглядная графическая схема были бы полезны сегодняшним писателям, а то концовки, как правило, скомканы(устают наверное), начинают за здравие, а потом всё путано и не понятно, что "писатель" сказать то хотел? - в общем хрен знает что, ЛитРПГ какая то!
Такая хрень - подавляющее большинство современных опусов. А ведь такую белиберду издают и озвучивают в аудио книгах.
Попаданцы - это верх низа! - не мог этого не сказать.


P.S. Интерфейс программки, как мне кажется, интуитивно понятен.
Некоторые моменты:
1. Клик по верхнему полю схем (вверху) - появляется палитра элементов.
2. При выборе элемента появится окно где можно описать что происходит в данном месте сценария.
3. При двойном клике по элементу схемы выпрыгнет такое же окно, где можно изменить текст, или вид функции элемента.
4. Правый клик по полю выводит меню, где последний пункт перепишет все тексты схемы в текстовое поле внизу.
5. Самая левая кнопка в левой части открывает новый проект.
6. Загрузка проекта(примера) кнопочкой с картинкой папочки со стрелочкой.
7. Элементы схемы можно передвигать, а потом пункт меню 'упорядочить' чтобы ровненько было.
8. Сохранение проекта - левая кнопка(вклеточку с плюсиком) на соседней панели.

[Альберт Садыкoff]

[quote name='Flint2' date='13.7.2023, 21:30' post='750117']
Наверное огорчу, если скажу, что сетки, каковые они есть на сегодняшний день, не тянут и не могут по определению.
Если вы копаете в этом направлении, то знаете, что сетка для генерации текста ничто иное, грубо говоря, как цепи Мркова и Word2vec(ворд в вектор) в одном флаконе. этого недостаточно.
https://en.wikipedia.org/wiki/Word2vec https://ru.wikipedia.org/wiki/%D0%A6%D0%B5%...%BE%D0%B2%D0%B0
Цепи Мркова для генерации текста, в свою очередь, производная от N-грамм.
https://ru.wikipedia.org/wiki/N-%D0%B3%D1%8...%BC%D0%BC%D0%B0
Тут нужен другой подход. То что в интернете демонстрируют заточены под привлечение "подписчиков" и коммерческих задач. Что то вроде разговорных ботов, или для продолжения небольшого куска текста, но как правило совсем не тем, что вы надеялись получить. Все вычислительные усилия в таких сетках сосредоточены на понимании текстового запроса, а это очень легко делается, как и в сетках для рисования по запросу. Что касается литературных способностей, то они так себе - все они обучены халтурно, а некоторые просто тупо заливают библиотеки текстов, что говорит о полном не владении вопросом.
Мы с коллегами (я, знакомый сценарист, Томаш Миколов из Google, ещё один товарищ из Брненского университета, знакомый профессор из МГУ и ещё два кренделя из Гарварда и Кембриджа) уже давно занимаемся этим вопросом(c 2008 года), а именно генерацией литературного текста - задача нелёгкая, но интересная. До недавнего времени был сайт, но в силу известных обстоятельств всё накрылось медным тазом. В России работа продолжается.
Если кратко, то вот к чему пришли:
(Мы все не писатели, не считая сценариста и можно ли его считать писателем, но такая схема даёт наилучшие результаты генерации текста сетью .)
1. Задаётся тема - что хотим показать (лейтмотив).
2. На фоне чего происходят действия (война, приключения, любовная история, детективная история, катастрофа)...
3. Сеттинг. (время и место) - технологический боевик, киберпанк, космическая фантастика, историческая драма...
4. Задаётся глобальная сценарная линия.
Сценарий может генерироваться, или строится эвристически(попросту придумывается) в таком виде. https://disk.yandex.ru/d/E_oAJIUAmX7apA
Эта программа и схема сценария взяты из переписки, по этому пусть не удивляют комментарии написанные там. Это крайний вариант интерфейса к сети. Это макет, по этому там отражены не все пункты 'озвученные' выше и ниже.
5. Фрактально раскрываются элементы глобальной схемы подобными схемами.
...........

Я не лезу (не получается) в глубь темы, лишь поверхностно. То, что вы описали, читал в рекламе нейрокниги, за 60 тыров книга. В моем понимание, уж большая нейросеть то и не нужна. Скорее бот. Которого нагрузить умением пользоваться загрукженной базой информации. В идеале, достижимом, каждый может загрузить настройки - жанр, количествао персонажей и подобное и за пару минут получить книгу под себя. Это вот раньше пробовали в магазине распечатывать книгу. Так теперь с интернета книгу можно будет получить. Бесплатно. Потому как это идеология, какая база такая и пропитка будет содержания книги.

[Альберт Садыкoff]

Не надеюсь на нынешнее государство наше; но это должно быть как гос библиотека.

[Flint2]

В моем понимание, уж большая нейросеть то и не нужна. Скорее бот. Которого нагрузить умением пользоваться загруженной базой информации.

Это не так!
Бот отвечает на вопросы, или по начальному контексту продолжает фразу и\или законченную мысль в понятиях примитивной фабулы.
Причём для этого совсем не обязательна сеть. Достаточно базы знаний(правила и законы) на Пролог машине и цепи Маркова для похожести на человеческую речь. Раньше так и делали, это сейчас стали модными нейронные сети и суют их куда нипоподя.

В идеале, достижимом, каждый может загрузить настройки - жанр, количествао персонажей и подобное и за пару минут получить книгу под себя.

Вот здесь нужна большая сетка и не одна!
Жанр, сеттинг(время и место) - очень большая сетка, лучше две, сетка для рассуждений героев(большая сетка), сетка для описаний природы и сцен(не фабула)(ну очень большая сетка) и сетка небольших размеров для сюжета. При небольшой сетке для сюжета и фабулы можно получить потрясающие результаты. Просто можно взахлёб зачитываться перепятиями X и Y.
Если писатель настоящий художник, мастер слова и знает толк, как не опускаться до попадальцев и разного рода фентези, то можно конфетку сделать.
В остальном всё не так светло.
Компьютерная лингвистика подразумевает большие объёмы памяти, а сейчас, как правило, на компьютерах 8-32 гига - слону дробина.
Можно конечно на свопинге... но это своё время не ценить и винт насиловать.
По этому это дело надо размещать на онлайн-сервисе с хорошим сервером.
Но возникает вопрос - кто те негры, кто будет обучать сетки?
А обучение не простое, под стать искусству и ничем не легче чем книжки писать. Иногда легче чего-то самому написать, чем подобрать несколько кусков текста для обучения, чтоб результат был достойным.
И второе.
Никто не делится и не будет делится своими наработками и секретами - все коммерсантами стали.
Даже тезаурус, словарь(словарь Зализняка хороший, но скудный) и базу синонимов-антонимов самому приходится набивать - а это 4-7 месяцев монотонного труда по 14 часов в день.

Не надеюсь на нынешнее государство наше; но это должно быть как гос библиотека.

Согласен!!!

[Альберт Садыкoff]

"Всем привет! Хочу поделиться одной небольшой заметкой о том как обучить модель ruGPT-3 на своей видеокарте при помощи датасета с текстами книг Фёдора Михайловича Достоевского
.......Рекомендованные системные требования
Операционная система на базе ядра Linux, у меня например Debian
Консольный git
Python 3.10, в принципе подойдёт и 3.11 и 3.9 или 3.8, но мне привычнее использовать для нейронок 3.10
Python Virtual Environment
Современная видеокарта Nvidia с 8Гб+ VRAM, подойдёт RTX 3050 или новее
Свежий драйвер Nvidia, желательно 520.xx или выше
CUDA тулкит, желательно 11.8 или выше (версию запомните, она пригодится дальше)
Прямые руки (опционально)............ "


ссылка Обучение ИИ в домашних условаиях

[Flint2]

Там что написано?
Там написано:

Это означает, что при генерации каждого следующего слова модель рассматривает только топ-5 наиболее вероятных слов. Если увеличить данное значение сеть начнёт давать более "творческие" ответы.

И остальное в том же духе.
А что это значит?
А это значит, что ruGPT-3 это тупая и примитивная сетка на n-граммах.
Я об этом писал в двух постах выше.
И зачем это надо?

Современная видеокарта Nvidia с 8Гб+ VRAM, подойдёт RTX 3050 или новее
Свежий драйвер Nvidia, желательно 520.xx или выше
CUDA тулкит, желательно 11.8 или выше (версию запомните, она пригодится дальше)

А это надо, чтобы пустить пыль в глаза, когда > всё тоже самое < делается на том же пайтоне гораздо легче и без всяких премудростей.
Простой вопрос: - как задать литературные параметры?
Будет ли там сюжет? Пример с обезьяной и печатной машинкой.

[Альберт Садыкoff]

У вас такие вопросы .. . Я это всё в Сети вижу, как и что. Достаточно одного дня, что бы у вас снялись вопросы. Это же надо не литературный форум смотреть для этого.

[Flint2]

Это не вопросы, это риторика и сарказм!
Всю эту кухню насквозь видно.
Вот если что то близкое к этому http://fantasts.ru/forum/index.php?s=&...st&p=737997 получится получить на таких сетях, то я съем свой галстук! ))
Я считаю, что литературный форум - это то самое место, где надо обсуждать такие вопросы.
Дело в том, что подавляющее большинство программистов, а можно сказать, что все, мало заморачиваются лингвистической, а тем паче литературной стороной дела.
От этого непонимания и все неудачи.
Надо плясать от этих законов построения литературного текста, а не от алгоритмов.
Алгоритмы - это вторично, это инструмент.