Category: история

Category was added automatically. Read all entries about "история".

маска

Абсурд и заумь

Современный natural language processing – всё-таки очень прикольная штука. Я давеча писал про сексизм, а сейчас расскажу об абсурде и зауми.

У меня закончился первый проход обучения LSTM для генерации текстов по русской википедии (LSTM очень простой, точно такой же, как у Karpathy, я пока не науку двигаю, а просто смотрю, что бывает в этом чертовски интересном мире).

После итерации модель погенерировала немножко текстов, начиная со случайного seed из датасета: «обещал, на рождество, но спустя семь лет. имя глав». Главная фишка в том, что это генерируется посимвольно, модель не знает никаких слов, просто есть и такой символ «пробел» тоже. Diversity – это то же самое, что температура: насколько большая будет дисперсия, т.е. будем ли мы при генерации выбирать самый вероятный символ или будем исследовать.

Дальнейшие проходы наверняка что-нибудь улучшат, но, по-моему, это всё очень похоже на эксперименты с языком XX века. При маленьком diversity обычно слова все будут существующие, но рекуррентная сеть часто как бы «зацикливается», начинает повторять примерно одно и то же на разные лады; посмотрите, текст с diversity=0.2 – это же типичный монолог Лаки. А при большом diversity чаще появляются несуществующие, но правдоподобно звучащие слова – там, конечно, больше и просто бреда, но отдельные отрывки diversity 1.2 звучат как хлебниковская заумь: «сравнивала имущно моря в юнасториансический индристское носительских женатов в церкви испании» -- это, по-моему, прекрасно.

Diversity 0.5 и 1.0 ближе всего к просто разумной генерации текста (от этой модели не надо ждать какого-то смысла, она слишком простая и маленькая, цель просто погенерировать более-менее правдоподобно звучащее нечто). С интересом жду дальнейших результатов. :)

Iteration 1
Epoch 1/1
38270265/38270265 [==============================] - 188447s - loss: 1.4899

----- diversity: 0.2
----- Generating with seed: "обещал, на рождество, но спустя семь лет. имя глав"
обещал, на рождество, но спустя семь лет. имя главного командования в составе советского союза с 1976 года. после проведения в 1992 году в составе советского союза (1977). в 1967 году в составе советского союза состоялся в 1952 году в составе советско-финской войны 1877 - 1877 годов. в 1966 году в составе советского союза с 1965 года по 1977 год. в 1966 году в составе советского союза состоял из 13 серийных соревнований. в 1976 году в составе сов

----- diversity: 0.5
----- Generating with seed: "обещал, на рождество, но спустя семь лет. имя глав"
обещал, на рождество, но спустя семь лет. имя главного рода собственно вновь образовалась в россии и народном состоянии. после присказа с постановлением союза писателей россии и генеральной диссертации о спортивном училище с 1980 года. в 1970-х годах был основан в составе комитета высшего совета театра в польши. в 1957 - 1962 годах - начальник батальона сан-аухаров, известно с ним после того, как дальнейшие отдельные страны выступали по пространс

----- diversity: 1.0
----- Generating with seed: "обещал, на рождество, но спустя семь лет. имя глав"
обещал, на рождество, но спустя семь лет. имя главы сердца, христианский, исследовательский, тем (лапер).
видел - хансевич николай иванович да фридрих (род. 2 июля 1982), - фотографический футбольный клуб, дивизия и мурмане. в 1755г. поступил на войну 18 мая 1996 года. в 1798-1395 годах выделен в административный цертру милосаровского залива. в 1977 году в рязанской станице было возглашено почтовой картепорой [" 5. болгарии фукталинского сонино б

----- diversity: 1.2
----- Generating with seed: "обещал, на рождество, но спустя семь лет. имя глав"
обещал, на рождество, но спустя семь лет. имя главы философии пововпели nollнози - врайу-7 на луосече. человеческая восстания покторов извоенного чомпде и э. дроссенбурга, … карл уним-общекрипских. эйелем хфечак от этого списка сравнивала имущно моря в юнасториансический индристское носительских женатов в церкви испании. в 18[э метрода ссср находитго из м)у бугукасу весни сообщил о. гипотам проект с обязательством температуры - биография.
маска

О будущем

Прочитал очень интересный конспект лекций о стартапах, рекомендую. Особенно мне были интересны тринадцатая и четырнадцатая лекции, о сдвиге в нашем сознании, особенно в нашем представлении о будущем.

Вот пара картинок оттуда в качестве рекламы:
Collapse )

А как вы смотрите на будущее?
маска

(no subject)

Матушка была еще мною брюхата, как уже я был записан в Семеновский полк сержантом, по милости майора гвардии князя В., близкого нашего родственника. Если бы паче всякого чаяния матушка родила дочь, то батюшка объявил бы куда следовало о смерти неявившегося сержанта, и дело тем бы и кончилось. Я считался в отпуску до окончания наук.
http://ratingnew.chgk.info/players.php?displayplayer=69522
маска

О редактуре: инсталляция вторая

Когда-то я написал два теоретических поста о редактуре, связанных с тем, что был "главным" в очередном туре ОВСЧ. Сейчас, кажется, опять начинаю в той же роли, поэтому сразу, пока помню, напишу о главном.

Collapse )
маска

Россия в мировой культуре

Я в последнее время (спасибо eterevsky) слушаю чудесные лекции Philip'а Daileader'а про средневековье, и раннее и высокое. Лекции очень интересные, но вот вам лучше любопытное наблюдение.

Я знаю несколько английских слов, очевидно пришедших из русского языка, но они всегда звучат сугубо по-русски и относятся к России. Американский sputnik будет называться satellite, про всякие там matryoshka, dacha или bolshevik вообще молчу. И вот впервые я услышал слово очевидно русского происхождения безо всякого русского контекста, в лекции о временах, когда в России викинги со славянами ещё недосмешались. Причём слово употреблялось многократно, и даже точных синонимов никаких на ум не приходит.

И слово это – Collapse )
маска

Подборка вопросов минувшего сезона

Все побежали, и я тоже наконец-то нашёл время побежать. Выставляю мало – и писал мало, и нравится из написанного далеко не всё. Зато в этой подборке мне нравятся все. Особенно 6 и 11. :)


1. (ВДИ-2010)
Рассказывают, что в 1821 году сын бергенского парламентария Фредерика Мельцера раскрасил ЕГО синим карандашом. Назовите ЕГО двумя словами.

Collapse )
маска

(no subject)

edwardahirsch нашёл исторический документ — список участников семинара «Алгебраическая теория чисел» боюсь-предположить-за-какой год. Более всего меня в нём поразило, что roma7 ходил на один семинар с edwardahirsch и bobak, причём был младше их всего на один курс. Забавно жизнь устроена.
маска

О редактуре: инсталляция первая

Во время работы над недавним туром ОВСЧ я предположительно должен был обучать своих соредакторов редактированию (оставим пока вопрос о том, кто, кого и чему должен был обучать на самом деле). На практике это, в частности, вылилось в несколько «теоретических» писем на лист, которые я попробую развернуть в этих постах. Оставляю за собой право менять формулировки и вообще подытоживать в посте обсуждение (если оно будет), дабы в итоге получился вменяемый текст на заданную тему. Не ждите откровений или острых спорных тезисов, я просто пытаюсь записать то, что в классических источниках по редактуре ещё не записано.

Итак, инсталляция первая, или Collapse )