Архитектуру DeepSeek-V3 уместили в 190 строк на JAX и обучили на MacBook Air

Архитектуру DeepSeek-V3 уместили в 190 строк на JAX и обучили на MacBook Air

Репозиторий deepseek-v3-jax на GitHub (заголовок Show HN говорит о «~200 строках») реализует архитектуру из технического отчёта DeepSeek-V3 в 190 строках чистого JAX. Здесь нет ни Flax, ни Equinox, ни PyTorch: параметры лежат в обычных словарях массивов, а каждая часть модели, функция, которую можно прочесть сверху вниз в файле deepseek_v3.py. Строки считаются так: непустые строки без комментариев после docstring, и в README есть команда для проверки.

Модель обучена с нуля на MacBook Air (в описании запуска по умолчанию, MacBook Air M5 с 24 ГБ памяти) на детективной прозе, которая в США относится к общественному достоянию. Это романы Дэшила Хэммета (Red Harvest, The Dain Curse, The Maltese Falcon и рассказы о Continental Op, издания CC0 от Standard Ebooks) и около 200 детективных и криминальных романов из Project Gutenberg. Все источники перечислены в sources.txt. Масштаб игрушечный: 36,2 млн параметров против 671 млрд у полной DeepSeek-V3, 6 слоёв против 61, контекст 256 токенов против 128 тысяч. Основной прогон, 12 тысяч шагов, примерно 2,6 часа.

Один из экспериментов, абляция балансировки экспертов. Проверяли смещение (bias), которое выравнивает нагрузку на эксперты. На шаге 2000 валидационная потеря с балансировкой и без неё практически совпала: 3,921 против 3,923. В README делают вывод, что смещение выравнивает эксперты без потери качества, и называют это утверждением самой статьи DeepSeek. Модель дописывает затравку «The fog came in off the» так: «The fog came in off the bay, and the great trees were spreading and the stars were shining» («Туман наползал с залива, и деревья расстилались, и сияли звёзды»).

Проект честно ограничивает себя. В README сказано: «Это демонстрация архитектуры, а не сильная языковая модель». Вычисления MoE (смеси экспертов) плотные: каждый эксперт работает на каждом токене, а невыбранные обнуляются. Математика маршрутизации точная, но разреженной раздачи токенов и параллелизма по экспертам нет. В MLA нет «поглощения весов» (weight absorption): скрытое представление распаковывается явно, что проще читать, но медленнее при выводе. Не включены обучение в FP8, DualPipe, маршрутизация с ограничением по узлам, расширение контекста YaRN и любое дообучение после предобучения.

Воспроизвести работу можно двумя путями. Скрипт prepare_data.py скачивает 207 книг из sources.txt (около 120 МБ, примерно 7 минут), очищает их, обучает BPE-токенизатор на 8192 токена и ожидаемо печатает: train, 211 документов, 83,4 млн символов, 21,69 млн токенов; val, 4 документа, 1,1 млн символов, 0,30 млн токенов. Хэши, скорее всего, будут другими: тексты Хэммета зафиксированы по коммитам Standard Ebooks, а файлы Gutenberg зафиксировать нельзя, и 28 из 203 книг с тех пор переизданы с мелкими правками (в основном убраны диакритические знаки, «José» стало «Jose»). Число токенов при этом совпадает, так что обучение должно идти так же. Либо можно скачать из релиза v1.0 точные данные и чекпоинт (138 МБ) и сразу запустить sample.py. Тесты (39 прошли) запускаются на CPU. Для обучения нужен Mac на Apple Silicon, Python 3.12 и uv. Без jax-metal всё работает, но намного медленнее; для 8-16 ГБ памяти предусмотрена малая конфигурация (4 слоя, 8 экспертов, top-2, контекст 128 токенов). Её проверяли лишь на нескольких шагах, до конца не обучали. Код под лицензией MIT.

Ключевые факты

  • Архитектура DeepSeek-V3 реализована в 190 строках чистого JAX (без Flax, Equinox и PyTorch); в заголовке Show HN указано «~200 строк».
  • Модель на 36,2 млн параметров (6 слоёв, контекст 256 токенов) обучена с нуля на MacBook Air на детективах из общественного достояния; основной прогон, 12 тысяч шагов, около 2,6 часа.
  • Абляция балансировки экспертов: валидационная потеря на шаге 2000 с bias и без него, 3,921 против 3,923.
  • В README прямо сказано, что это демонстрация архитектуры, а не сильная языковая модель; MoE-вычисления плотные, FP8, DualPipe, YaRN и дообучения нет.
  • Для повторения есть релиз v1.0 с чекпоинтом (138 МБ) и данными; код под лицензией MIT.

Почему это важно

Устройство DeepSeek-V3 обычно описывают в техническом отчёте и огромных кодовых базах. Здесь та же архитектура уложена в 190 строк на чистом JAX, где параметры, обычные словари массивов, а модель читается как набор функций сверху вниз. Это учебный ориентир: можно увидеть, как смесь экспертов, MLA и балансировка через смещение выглядят в коде, и запустить это на ноутбуке. Новой модели проект не предлагает: его автор сам называет результат демонстрацией архитектуры.

Кому это важно

Тем, кто хочет разобраться в архитектуре DeepSeek-V3 через код, а не через статью: студентам, инженерам, знакомым с JAX, и пользователям Mac на Apple Silicon, которым нужен небольшой воспроизводимый эксперимент по обучению. Для тех, кому нужна рабочая языковая модель или быстрый вывод, проект не подходит: масштаб 36,2 млн параметров против 671 млрд, а оптимизации вывода сознательно не сделаны.

Как это применить

Порядок по README: установить зависимости (все версии зафиксированы; jax-metal 0.1.1 работает только с jax==0.4.34, поэтому JAX обновлять нельзя), прогнать 39 тестов на CPU, собрать датасет скриптом prepare_data.py (около 120 МБ, примерно 7 минут) или скачать готовые данные из релиза v1.0, затем запустить train.py. Основной прогон, 12 тысяч шагов, около 2,6 часа; абляция балансировки запускается двумя командами по 2000 шагов (с флагом --no-bias и без него). Генерация: sample.py с температурой 0,8, top-k 50 и 300 новыми токенами на образец. Без Mac можно запускать на CPU с малой конфигурацией, но намного медленнее. Код под лицензией MIT; тексты общедоступны в США, а их статус за пределами США может отличаться.

Можно ли доверять

Все сведения взяты из README репозитория; это самоописание проекта, независимой проверки в тексте нет. Само утверждение о балансировке основано на одном сравнении двух прогонов по 2000 шагов (3,921 против 3,923); о повторах с разными начальными значениями источник не говорит. Блок с итогами основного прогона в тексте README, доступном для пересказа, пуст, поэтому итоговую потерю и скорость в токенах в секунду здесь привести нельзя. Качество генерации не измерялось по тестам: приведён лишь один образец текста. README честно оговаривает ограничения и то, что при пересборке данных хэши, скорее всего, будут другими, а вычисления на Metal не детерминированы бит в бит.

Риски и подводные камни

Чекпоинт хранится в формате pickle, который при загрузке может выполнять код: в README советуют загружать его только из доверенных источников. Версии зафиксированы жёстко (jax-metal 0.1.1 только с jax==0.4.34), так что обновление JAX сломает запуск. Малая конфигурация проверена лишь на нескольких шагах. Файлы Project Gutenberg меняются: 28 из 203 книг уже переизданы, поэтому данные и хэши будут отличаться, а числа на Metal нужно ждать близкими к опубликованным, но не точно такими же. Наконец, не стоит переносить выводы с 36,2 млн параметров на реальную DeepSeek-V3: плотные MoE-вычисления, явная распаковка в MLA и отсутствие FP8, DualPipe, YaRN и дообучения делают это упрощённой моделью.

«Это демонстрация архитектуры, а не сильная языковая модель.»

— README репозитория deepseek-v3-jax