Обучение с подкреплением наглядно: цифровая «искра» учится искать свет

Вторая глава серии Myriad, интерактивный визуальный разбор обучения с подкреплением. Серия задумана как рассказ о том, как разум возникает из материи, и делается в сотрудничестве нейробиолога Аркарупа Банерджи, изучающего поведение, и физика, ставшего научным журналистом, Аатиша Бхатии. В предыдущей главе авторы создали «искру» (spark), простое цифровое существо, которое умеет двигаться к свету; тогда нейронные связи в её мозге прописывали вручную. Теперь цель в том, чтобы она научилась тем же поведениям сама. Искры вдохновлены работами нейробиолога Валентино Брайтенберга.
Мозг искры состоит всего из четырёх нейронов: два служат глазами, два двигают плавниками. Есть прямые связи между нейронами одной стороны тела, перекрёстные связи между нейронами противоположных сторон и «драйв» (drive), задающий скорость при отсутствии света. Поэтому всё устройство мозга сводится к трём числам: силе прямых связей, силе перекрёстных связей и драйву. Сначала читателю предлагают самому покрутить три ползунка и добиться оценки выше 0,5, то есть заставить искру «полюбить» свет. Три параметра, это оси куба, а путь настройки превращается в траекторию внутри этого куба.
Дальше этот приём оформляют как алгоритм обучения. У искры много попыток добраться до света. Перед каждой попыткой проводка мозга случайно немного меняется, так же, как читатель шевелил ползунки. Если попытка вышла лучше предыдущих, искра получает награду, и проводка смещается в сторону этого случайного изменения; если хуже, получает наказание, и проводка смещается в обратную сторону. Авторы сравнивают это с тем, как человек учился ходить или ездить на велосипеде: падение, наказание, радость от равновесия, награда.
Примеры обучения: у новичка с мозгом, собранным случайно, ничего не выходит, он лишь крутится на месте. После 50 попыток «младенец» делает первые шаги. После 250 попыток «подросток» набирает скорость, но в последний момент уходит от света в сторону. После 500 попыток «юноша» смело мчится к свету, но не умеет тормозить. После 2000 попыток искра, «взрослая»: она ловко следует за светом и может резко развернуться (свет на странице можно двигать, и искра за ним поедет).
Затем показывают траектории обучения сотен новичков, стартующих с по-разному устроенным мозгом. Все нити сходятся в одной точке. Пути не прямые: есть откаты, неверные повороты и ошибки, а некоторым ученикам понадобились тысячи попыток. Дрожь на траекториях, следствие случайности на каждом шаге; усреднив много траекторий, авторы получают карту потока обучения. По их словам, удивительно, что при достаточном числе попыток один и тот же процесс превращает каждого новичка в эксперта по поиску света, хотя способов провалиться гораздо больше, чем преуспеть.
Поведение зависит от награды. Если свет вреден (например, это опасное вещество или хищник), искру награждают за избегание, и «любовь» к свету становится худшей стратегией: искры учатся убегать (FLEE) или замирать (FREEZE, «притвориться мёртвым»). Если награждать за быстрое приближение к свету, получается агрессивное поведение, нападение (FIGHT). Так искра осваивает бегство, замирание, нападение или следование за светом, смотря как её награждают.
Авторы связывают это с живой природой: птенцы певчих птиц учатся петь, пробуя случайные вариации песни; если вариация ближе к запомненной песне взрослой птицы, выбрасывается дофамин, если дальше, уровень дофамина падает. Так они воспроизводят песню по памяти даже без учителя. При этом авторы честно оговариваются: у искры четыре нейрона и три числа, а в мозге человека около 86 миллиардов нейронов и более ста триллионов связей, поэтому пространство возможных конфигураций несравнимо больше. Детали куда сложнее, но, по их мнению, основная идея та же: обучение, это навигация по огромному внутреннему пространству, а обратная связь служит компасом.
В технических заметках сказано: нейронная схема основана на подходе Брайтенберга; скорость вперёд равна среднему скоростей двух плавников, скорость поворота пропорциональна их разности. Искра учится по версии алгоритма REINFORCE, опубликованного Рональдом Уильямсом в 1992 году. В каждой попытке параметры слегка случайно «шевелились», искра двигалась 500 временных шагов, стартуя со случайной точки на краю арены, а наградой была средняя яркость вдоль пути. Награду сравнивали со скользящим средним недавних наград: лучше обычного, параметры сдвигались в сторону случайного изменения, хуже, в обратную, а размер сдвига был пропорционален отклонению. Процедуру повторяли тысячи раз. В отличие от исходного подхода Уильямса, где случайность добавляется к выходу каждого нейрона, авторы добавляют её к весам и смещениям, это называется возмущением весов (weight perturbation). Похожая идея, эволюционные стратегии, использовалась OpenAI в 2017 году, чтобы обучать ИИ-модели играм Atari.
Ключевые факты
- Вторая глава серии Myriad (Аркаруп Банерджи и Аатиш Бхатия) наглядно объясняет обучение с подкреплением на примере цифрового существа, «искры».
- Мозг искры, четыре нейрона и всего три числа (прямые связи, перекрёстные связи, драйв); читатель сам настраивает их ползунками, а цель, оценка выше 0,5.
- Алгоритм: перед каждой попыткой проводка случайно меняется; лучше предыдущих, награда и сдвиг в ту же сторону, хуже, наказание и сдвиг в обратную. После 50, 250, 500 и 2000 попыток искра проходит путь от первых шагов до «взрослого» поиска света.
- От награды зависит поведение: искра учится бегству, замиранию, нападению или следованию за светом; параллель из живой природы, обучение пению у птенцов с дофамином.
- Технически используется версия REINFORCE (Уильямс, 1992) с возмущением весов; авторы оговаривают, что в человеческом мозге около 86 млрд нейронов, а детали обучения намного сложнее.
Почему это важно
Обучение с подкреплением, одна из основ того, как учатся и живые организмы, и ИИ-системы, но объяснять его обычно приходится через формулы. Здесь идея показана на предельно простой модели: существо с четырьмя нейронами и тремя параметрами, траектории обучения которого можно увидеть в трёхмерном пространстве. Это не новый результат или продукт, а образовательный материал, ценный наглядностью: видно, что случайные пробы плюс обратная связь выводят все разные стартовые конфигурации к одной цели, хотя путь не прямой и порой занимает тысячи попыток.
Кому это важно
Тем, кто впервые знакомится с обучением с подкреплением и хочет интуитивного понимания до формул: студентам, разработчикам, школьным и вузовским преподавателям, любителям нейробиологии. Материал также полезен тем, кто интересуется параллелями между обучением в мозге и в алгоритмах: в тексте упомянуты птенцы певчих птиц и дофаминовая награда.
Как это применить
Пройти материал в браузере: самому «прописать» мозг искры тремя ползунками и добиться оценки выше 0,5, затем посмотреть, как тот же поиск делает алгоритм. Можно двигать свет и смотреть, как за ним следует обученная искра, а также менять награду и наблюдать бегство, замирание или нападение. Для тех, кто хочет разобраться глубже, в технических заметках в конце описана реализация: версия REINFORCE с возмущением весов, 500 временных шагов на попытку, награда, средняя яркость вдоль пути, сравнение со скользящим средним недавних наград. О цене или доступе в источнике сказано лишь приглашение подписаться на рассылку.
Можно ли доверять
Это популярное объяснение, а не рецензируемое исследование, и числа в нём (50, 250, 500, 2000 попыток), иллюстрация конкретного прогона, а не статистика. Алгоритмическая часть опирается на опубликованную работу Рональда Уильямса 1992 года, а нейронная схема, на идеи Валентино Брайтенберга; авторы сами отмечают отличия от оригинала (возмущение весов вместо случайности на выходе нейронов). Серию делают нейробиолог, изучающий поведение, и физик, ставший научным журналистом. Утверждения о мозге сформулированы осторожно: идея «та же», но детали сложнее.
Риски и подводные камни
Модель сильно упрощена: четыре нейрона и три параметра против примерно 86 миллиардов нейронов и более ста триллионов связей в мозге человека. Авторы не утверждают, что именно так мозг реализует обучение, лишь что мозг тоже учится через подкрепление и основная идея общая. Из текста также нельзя делать вывод, что искра работает так же, как обучение больших языковых моделей или современное глубокое обучение с подкреплением: упомянуты лишь эволюционные стратегии OpenAI 2017 года для игр Atari. Результат зависит от случайности: траектории дрожат, а некоторым ученикам требуются тысячи попыток.
«Обучение, это способ ориентироваться в этом огромном внутреннем пространстве. А обратная связь, компас, который указывает путь.»
— авторы серии Myriad, глава вторая