Дзен в мире ИИ-исследований: как стать учёным

Ключевые факты

• Путь в ИИ-исследованиях строится на комбинации чтения и написания кода, а не на одном из них: это невозможно делать отдельно
• Не стоит выбирать топики, популярные меньше полугода, потому что фундаментальные идеи в ИИ не меняются сорок лет
• Часто полезнее идти в глубину на базовых концепциях (кроссэнтропия, SVD, policy gradients), чем гоняться за бенчмарками

Ред. "Перечитай написанное, потом выучи написанное", монашеский подход, но работает.

• Вдохновение приходит чаще во время прогулок, чем за компьютером (научный факт, подтверждённый карьерами Дарвина, Теслы и Фейнмана)
• Опытные исследователи относятся к провальным результатам не как к поражению, а как к полезной информации, равной успешным опытам
• Код ИИ-исследований так запутан, что баги могут скрываться месяцами, причём хорошие результаты часто проваливаются после детальной проверки

Почему это важно

Сейчас огромное количество людей пытается работать в ИИ, не имея ясного представления, как структурировать такую работу. Статья говорит о том, что формула очень проста: дисциплина, честность в оценке результатов и отказ от спешки. ИИ меняется быстро, но принципы исследования стоят неподвижно. Это снижает парализующий страх перед непредсказуемостью тренда и сосредотачивает на том, что реально имеет вес. Особенно актуально в момент, когда агенты и prompt engineering захватили внимание, но завтра будут другие модные слова.

Ред. "Чистите скот, пока вас не просвещают, и чистите скот после", говорил Будда, и он был прав.

Кому это важно

Текст написан в первую очередь для новичков и тех, кто переходит в ИИ-исследования: студентов, работников tech, self-taught разработчиков. Но много полезного и для опытных исследователей, которые могли зациклиться на своём способе мышления. Также актуально для тех, кто работает с ИИ-агентами и кодегенерацией: подсказка прямая, ты должен на сто процентов понимать каждое действие, иначе результаты не имеют научной ценности. И для менеджеров ИИ-проектов: люди, работающие на вас, должны иметь возможность быстро итерировать, а не ждать месяцы результатов.

Ред. "Я не пошёл в ИИ, потому что там деньги", вот идеальный формат резюме для OpenAI.

Как это применить

Если ты собираешься работать с ИИ, начни с основ: запомни, что cross-entropy считается, потом посчитай вручную для маленького примера. Выучи SVD до уровня, когда можешь визуализировать это в голове. Затем выбери проблему, которая тебя интересует, и попробуй решить её раньше, чем полезешь в гугл. Когда упрёшься в стену, только тогда читай статьи. Дизайни рабочий процесс так, чтобы быстро получать обратную связь: краткие эвалуации, короткие cold-start времена, параллель только если критична. Если агент написал код, проверь его полностью. Если результаты выглядят слишком хорошо, они врут. И не забывай про прогулки.

Ред. Кстати, если результаты выглядят хорошо, это повод не отпраздновать, а заподозрить баг. Попробуй.

Можно ли доверять

Текст написан в стиле личного опыта с примерами из истории и ссылками на известных исследователей (Ноам Шазеер, Джейсон Вей, Колин Раффель, Келлер Джордан). Автор работает в OpenAI и имеет прямой доступ к внутреннему опыту того, как работают лучшие исследователи. Принципы не новые (Дзен-философия про медитацию, история про структуру бензола, Оземпик из яда ящерицы), но они выбраны удачно и как-то резонируют со смыслом. Авторская позиция чётко высказана и непротиворечива: эффективность через смирение, а не через амбицию.

Ред. Единственная слабость: "не нужна большая ЦПУ для медитации". Стоп, речь про медитацию или про рисерч?

Риски и подводные камни

Главный риск: статья может прочитаться как обоснование бездействия ("жди вдохновения") или как совет игнорировать новые подходы ради классики. Это неправильно. Автор не против ознакомления с новым, но против выбора его как основной лошадки до того, как ты освоил базу. Второй риск: в OpenAI работают люди, у которых был доступ к ресурсам и менторству, которого нет у большинства. Совет "выбери проблему, которая интересна" легко говорить, когда уже известен, и труднее, когда ты совсем новичок. Также опасно думать, что все провальные эксперименты одинаково полезны: в реальности бюджет на эксперименты ограничен, и нужна тактика отбора проблем.

Ред. "Равнодушие к результатам это не равнодушие, это мудрость" (легче говорить, если тебе платят и не увольняют).

«Temperament greatly outweighs talent.»

— Jed Mo