Sebastian Raschka выпустил видеокурс по моделям рассуждений с нуля на PyTorch

Sebastian Raschka, автор рассылки Ahead of AI, опубликовал серию из восьми видеолекций по программированию общей длиной 11 часов. Лекции сопровождают его недавнюю книгу Build a Reasoning Model (From Scratch), где методы работы с моделями рассуждений реализованы с нуля на PyTorch. По словам автора, это по-прежнему лучший способ по-настоящему понять, как всё устроено. Он напоминает, что почти все современные большие языковые модели либо сами являются моделями рассуждений, либо предлагают режим рассуждения.

Основная идея курса: взять предобученную модель и самостоятельно, на Python и PyTorch, реализовать методы её оценки и улучшения, оценку качества, масштабирование на этапе вывода (inference-time scaling), обучение с подкреплением и дистилляцию. Автор называет курс продолжением своего прошлогоднего курса Coding LLMs from the Ground Up, но смотреть его можно и без предыдущего.

Во вводной части автор объясняет связь между обычными моделями, моделями рассуждений и агентами. Модель рассуждений, это обычная языковая модель, к которой добавили дообучение с подкреплением на проверяемых наградах (а при желании ещё и приёмы масштабирования на этапе вывода), чтобы она лучше решала сложные задачи. Классически такие модели делают для математики и кода, но способности могут переноситься и на другие области. Модель рассуждений служит «двигателем» внутри агентной обвязки (agent harness): задача обвязки, сложное управление контекстом и доступ модели к инструментам. Агент может работать и на обычной модели, но модели рассуждений используют чаще, потому что они способнее.

Предполагается, что зритель уверенно владеет Python и PyTorch. Предыдущая книга автора Build a Large Language Model (From Scratch) рекомендуется, но не обязательна. Первые примеры по генерации текста и оценке можно пройти на процессоре, а для поздних экспериментов, особенно обучения, видеокарта сильно упрощает работу.

Содержание лекций, описанных в источнике подробно:

Мотивация и настройка окружения: связь обычных моделей, моделей рассуждений и агентов; установка зависимостей Python и PyTorch через uv; выбор оборудования, проверка поддержки CUDA или Apple Silicon, удалённая видеокарта через VS Code.
Загрузка базовой модели Qwen3 0.6B с предобученными весами, потоковый генератор текста, KV-кэш и компиляция модели для ускорения генерации. Это база, которую дальше оценивают и улучшают.
Верификатор для оценки и обучения с подкреплением: пошаговая сборка проверки математических ответов (извлечение финального ответа, нормализация, проверка математической эквивалентности) и оценка модели на наборе MATH-500. Позже тот же верификатор даёт сигнал награды для обучения с подкреплением на проверяемых наградах (RLVR).
Масштабирование на этапе вывода: температура, мультиномиальная выборка и top-p фильтрация для разнообразных ответов, затем самосогласованность (self-consistency), голосование большинством по финальным ответам. Разбирается компромисс между точностью и затратами вычислений на дополнительных кандидатов.
Оценивание ответов и самоуточнение: функции оценки для сравнения ответов и разрешения ничьих, логарифмы вероятностей токенов и последовательностей, цикл, в котором модель критикует свой ответ и пытается его исправить; полезность этих шагов проверяется на MATH-500.
Обучение с подкреплением: упрощённая версия GRPO (Group Relative Policy Optimization) для RLVR. Генерируются группы ответов, верификатор их оценивает, а относительные награды идут на обновление весов. Рассматриваются отличия RLHF от RLVR, цикл обучения с логированием и сохранением контрольных точек, устойчивость обучения и потребности в памяти.

Два последних видео в доступной части материала не описаны.

Книга доступна в Manning и на Amazon, печатное издание цветное. Автор советует читать главу, разбирать код вместе с соответствующим видео и затем делать упражнения. Отдельно он рекомендует свой более короткий концептуальный курс AI Reasoning Models на LinkedIn Learning длиной около 90 минут; по ссылке автора он должен быть бесплатным в течение 24 часов, подписка LinkedIn Premium при этом не нужна. Сам автор сейчас берёт короткий перерыв и вернётся с обзорами исследований по большим языковым моделям в следующем месяце.

Ключевые факты

Восемь видеолекций общей длиной 11 часов сопровождают книгу Sebastian Raschka Build a Reasoning Model (From Scratch); код пишется на Python и PyTorch.
Курс стартует с предобученной модели Qwen3 0.6B и на ней разбирает оценку, масштабирование на этапе вывода, обучение с подкреплением и дистилляцию.
В лекциях 3-6 собирают верификатор математических ответов, проверяют модель на MATH-500, реализуют self-consistency, самоуточнение и упрощённый GRPO для RLVR.
Ранние примеры можно пройти на процессоре, для обучения лучше видеокарта; нужны уверенные навыки Python и PyTorch.
Отдельно автор советует 90-минутный концептуальный курс AI Reasoning Models на LinkedIn Learning, который по его ссылке должен быть бесплатным 24 часа.

Почему это важно

По словам автора, почти все современные большие языковые модели либо являются моделями рассуждений, либо предлагают режим рассуждения, поэтому понимание их устройства остаётся актуальным. Курс показывает весь путь на коде: как проверить ответы модели, как улучшить их без переобучения весов и как дообучать модель с подкреплением. Модель рассуждений автор описывает как «двигатель» агентной обвязки, так что материал помогает и в понимании современных агентов. Новых исследовательских результатов здесь нет: это учебное сопровождение к книге и продолжение прошлогоднего курса Coding LLMs from the Ground Up.

Кому это важно

Инженерам и студентам, которые уже уверенно пишут на Python и PyTorch и хотят разобраться, как модели рассуждений устроены изнутри, а не только пользоваться ими через интерфейс. Курс самодостаточен: знакомство с прошлой книгой автора о построении языковой модели рекомендуется, но не обязательно. Тем, кому нужны только основные идеи без реализации, автор предлагает 90-минутный курс на LinkedIn Learning.

Как это применить

Идти по порядку: первая лекция посвящена настройке окружения (uv, выбор оборудования, удалённая видеокарта), в репозитории есть рекомендации по оборудованию и среде. Автор советует читать главу книги, затем разбирать её код вместе с видео и делать упражнения. Ранние примеры по генерации и оценке работают на процессоре; для обучения с подкреплением нужна видеокарта. Книга доступна в Manning и на Amazon; цена в тексте не указана. Условия доступа к самим видеолекциям в тексте не описаны, о бесплатности сказано только про курс на LinkedIn Learning.

Можно ли доверять

Это авторский анонс собственных материалов, а не независимый обзор. Утверждения о пользе обучения через код и о современных моделях принадлежат самому Raschka. Цифр точности (например, результатов на MATH-500 для базовой модели или после GRPO) в тексте нет, так что оценить эффективность описанных методов по этому материалу нельзя. Подробно в доступной части описаны лекции 1-6.

Риски и подводные камни

Обучающие эксперименты, особенно с подкреплением, на процессоре будут непрактичны: автор прямо отмечает, что для них видеокарта делает работу гораздо удобнее. В курсе используется небольшая модель Qwen3 0.6B и упрощённая версия GRPO, то есть это учебная реализация, а не промышленный рецепт. Курс рассчитан на тех, кто комфортно работает с Python и PyTorch. Предложение бесплатного доступа к курсу на LinkedIn Learning сформулировано осторожно («должен быть бесплатным» в течение 24 часов по ссылке автора), поэтому условия стоит проверить на месте.