?

Log in

No account? Create an account

nikolenko — история — ЖЖ

мар. 23, 2016

12:04 pm - Абсурд и заумь

Современный natural language processing – всё-таки очень прикольная штука. Я давеча писал про сексизм, а сейчас расскажу об абсурде и зауми.

У меня закончился первый проход обучения LSTM для генерации текстов по русской википедии (LSTM очень простой, точно такой же, как у Karpathy, я пока не науку двигаю, а просто смотрю, что бывает в этом чертовски интересном мире).

После итерации модель погенерировала немножко текстов, начиная со случайного seed из датасета: «обещал, на рождество, но спустя семь лет. имя глав». Главная фишка в том, что это генерируется посимвольно, модель не знает никаких слов, просто есть и такой символ «пробел» тоже. Diversity – это то же самое, что температура: насколько большая будет дисперсия, т.е. будем ли мы при генерации выбирать самый вероятный символ или будем исследовать.

Дальнейшие проходы наверняка что-нибудь улучшат, но, по-моему, это всё очень похоже на эксперименты с языком XX века. При маленьком diversity обычно слова все будут существующие, но рекуррентная сеть часто как бы «зацикливается», начинает повторять примерно одно и то же на разные лады; посмотрите, текст с diversity=0.2 – это же типичный монолог Лаки. А при большом diversity чаще появляются несуществующие, но правдоподобно звучащие слова – там, конечно, больше и просто бреда, но отдельные отрывки diversity 1.2 звучат как хлебниковская заумь: «сравнивала имущно моря в юнасториансический индристское носительских женатов в церкви испании» -- это, по-моему, прекрасно.

Diversity 0.5 и 1.0 ближе всего к просто разумной генерации текста (от этой модели не надо ждать какого-то смысла, она слишком простая и маленькая, цель просто погенерировать более-менее правдоподобно звучащее нечто). С интересом жду дальнейших результатов. :)


Iteration 1
Epoch 1/1
38270265/38270265 [==============================] - 188447s - loss: 1.4899

----- diversity: 0.2
----- Generating with seed: "обещал, на рождество, но спустя семь лет. имя глав"
обещал, на рождество, но спустя семь лет. имя главного командования в составе советского союза с 1976 года. после проведения в 1992 году в составе советского союза (1977). в 1967 году в составе советского союза состоялся в 1952 году в составе советско-финской войны 1877 - 1877 годов. в 1966 году в составе советского союза с 1965 года по 1977 год. в 1966 году в составе советского союза состоял из 13 серийных соревнований. в 1976 году в составе сов

----- diversity: 0.5
----- Generating with seed: "обещал, на рождество, но спустя семь лет. имя глав"
обещал, на рождество, но спустя семь лет. имя главного рода собственно вновь образовалась в россии и народном состоянии. после присказа с постановлением союза писателей россии и генеральной диссертации о спортивном училище с 1980 года. в 1970-х годах был основан в составе комитета высшего совета театра в польши. в 1957 - 1962 годах - начальник батальона сан-аухаров, известно с ним после того, как дальнейшие отдельные страны выступали по пространс

----- diversity: 1.0
----- Generating with seed: "обещал, на рождество, но спустя семь лет. имя глав"
обещал, на рождество, но спустя семь лет. имя главы сердца, христианский, исследовательский, тем (лапер).
видел - хансевич николай иванович да фридрих (род. 2 июля 1982), - фотографический футбольный клуб, дивизия и мурмане. в 1755г. поступил на войну 18 мая 1996 года. в 1798-1395 годах выделен в административный цертру милосаровского залива. в 1977 году в рязанской станице было возглашено почтовой картепорой [" 5. болгарии фукталинского сонино б

----- diversity: 1.2
----- Generating with seed: "обещал, на рождество, но спустя семь лет. имя глав"
обещал, на рождество, но спустя семь лет. имя главы философии пововпели nollнози - врайу-7 на луосече. человеческая восстания покторов извоенного чомпде и э. дроссенбурга, … карл уним-общекрипских. эйелем хфечак от этого списка сравнивала имущно моря в юнасториансический индристское носительских женатов в церкви испании. в 18[э метрода ссср находитго из м)у бугукасу весни сообщил о. гипотам проект с обязательством температуры - биография.

авг. 11, 2014

08:30 pm - Серебряный возраст

Ну вот мне и тридцать.

Традиционный постСвернуть )

апр. 3, 2013

02:20 pm - О будущем

Прочитал очень интересный конспект лекций о стартапах, рекомендую. Особенно мне были интересны тринадцатая и четырнадцатая лекции, о сдвиге в нашем сознании, особенно в нашем представлении о будущем.

Вот пара картинок оттуда в качестве рекламы:
О будущем...Свернуть )

А как вы смотрите на будущее?

ноя. 14, 2011

01:01 am

Матушка была еще мною брюхата, как уже я был записан в Семеновский полк сержантом, по милости майора гвардии князя В., близкого нашего родственника. Если бы паче всякого чаяния матушка родила дочь, то батюшка объявил бы куда следовало о смерти неявившегося сержанта, и дело тем бы и кончилось. Я считался в отпуску до окончания наук.
http://ratingnew.chgk.info/players.php?displayplayer=69522

сент. 27, 2011

12:44 pm - О редактуре: инсталляция вторая

Когда-то я написал два теоретических поста о редактуре, связанных с тем, что был "главным" в очередном туре ОВСЧ. Сейчас, кажется, опять начинаю в той же роли, поэтому сразу, пока помню, напишу о главном.

Дальнейшее не-ЧГКшникам вряд ли интересно будетСвернуть )

июн. 30, 2010

03:20 pm - Подборка вопросов минувшего сезона

Все побежали, и я тоже наконец-то нашёл время побежать. Выставляю мало – и писал мало, и нравится из написанного далеко не всё. Зато в этой подборке мне нравятся все. Особенно 6 и 11. :)


1. (ВДИ-2010)
Рассказывают, что в 1821 году сын бергенского парламентария Фредерика Мельцера раскрасил ЕГО синим карандашом. Назовите ЕГО двумя словами.

Ответ и ещё дюжина вопросовСвернуть )

Tags:

июл. 23, 2007

10:32 am - Хозяйке на заметку

История «албанского» языка в 1916–1920 гг.

История проникновения албанского языка в русский начинается с малоизвестного футуриста Янко Лаврина.
Предметом насмешливой игры нередко выступал участник объединения Янко Лаврин. Будучи военным корреспондентом на балканском фронте, Лаврин увлекся обычаями и нравами албанцев, живущих древними патриархальными представлениями, руководствующимися родовыми законами кровной мести. Гордый и независимый нрав жестоких горцев поразил Лаврина, и он написал книгу «В стране вечной войны. Албанские эскизы» (Пг., 1916). На появление этой книги кружковцы откликнулись специальным номером журнала «Бескровное убийство». На 12 больших листах излагалась пародийная история Янко Лаврина – бывшего короля Албании.
Другой (ненамного более известный) футурист Илья Михайлович Зданевич, увидев эту публикацию, не смог смолчать.
Зданевич, ознакомившись с номером, впал в совершеннейший восторг и написал за полтора дня инсценировку албанского сюжета с использованием элементов заумного письма футуристов... под названием «Янко круль албанскай».
Именно так явление «албанского» языка вошло в русскую культуру. И. М. Зданевич, почувствовав мощь новых методов, прелесть истины, на которую набрёл практически случайно, уже не мог остановиться. Разработка нового языка шла полным ходом.
И. Зданевич публикует в 1918–1920 годах еще три пьесы из своей пенталогии аслааблИчья (то есть «Осла обличия»): «асЕл напракАт» (1918), «Остраф пАсхи» (1919), «згА Якабы» (1920).
Как видно уже из названий, в этих пьесах «албанский» язык уже приближается к своему современному звучанию, хотя ещё не утратил первоначального, немного старомодного очарования.
История «албанского» языка с 1920 г. до начала 2000–х практически не изучена и может стать предметом многих удивительных открытий.

По материалам Известий УРГУ и по идее Олега Рогова.