Доклад
- Когда и где
-
13 февраля 2023 г. 15:00, понедельник
Актовый зал ИММ УрО РАН
- Докладчики
-
-
Иванко Евгений Евгеньевич
-
Название
-
Обучение тому – не знаю чему: рекуррентная нейронная сеть с памятью, нацеленная на генерацию последовательностей заданной Колмогоровской сложности
-
Аннотация
-
"Пусть Федот проявит прыть,
Пусть сумеет вам добыть
То-Чаво-На-Белом-Свете –
Вообче-Не-Может-Быть!"
Л. Филатов
Колмогоровской сложностью строки (при заданном языке) является кратчайшее описание данной строки на данном языке. Так, например, сложность строки из N одинаковых символов -- "ааааа...а" -- минимальна, а сложность случайной строки (каждый символ независимо равновероятно выбран из алфавита) --максимальна в заданных условиях. Все, что мы привыкли рассматривать как "информацию", находится где-то между (причем гораздо ближе к "тривиальным" строкам, чем к "случайным"). Колмогоровская сложность -- понятие хоть и глубокое, но чисто теоретическое, никто не знает как ее считать. На практике Колмогоровскую сложность можно оценить коэффициентом сжатия |С(S)|/|S| -- отношением длины архива строки (максимальное сжатие без потерь) к длине исходной строки. В докладе будет рассказано об опыте обучения сети LSTM-RNN, чьей задачей являлась генерация последовательностей заданной Колмогоровской сложности. Было интересно, чему обучится нейросеть, если целевую функцию задать настолько абстрактно. Какой будет субъективная реакция наблюдателя на траектории различной сложности, генерируемые нейронной сетью? Ожидается, что при уменьшении целевой Колмогоровской сложности траектории будут казаться "более осмысленными", "содержательными", "менее хаотичными". Сможет ли нейросеть сгенерировать что-то, что нас удивит?
-
Презентация
-
-
Ссылка на видео
-
-
Видео
-
Вернуться к списку новостей