DeepSeek рассказал о своём устройстве в интервью, но засомневался в известных цифрах

Разработчик Manish Shahi, автор блога manish.sh, взял интервью у чат-модели DeepSeek о том, как она устроена и как работает, единый диалог, выгруженный 21 июля 2026 года. Сама модель сообщила, что она «последняя версия» со знанием мира до мая 2025 года и не помечена как DeepSeek-R1. Это второй материал в серии «Inside LLMs», первым был разбор Kimi K2.6.

На вопрос «что ты вообще знаешь о себе» DeepSeek без подсказки разложила ответ на три категории, наблюдение, вывод и догадку. Модель прямо назвала публичные технические решения DeepSeek (MLA для сжатия KV-кеша, MoE-архитектуру DeepSeekMoE с общими и маршрутизируемыми экспертами, балансировку нагрузки экспертов без вспомогательной функции потерь в V3, обучающую задачу предсказания нескольких токенов сразу и обучение в формате FP8), но подчеркнула, что знает это не из собственных весов, а из тех же статей, что доступны любому.

При этом на прямой вопрос о собственной архитектуре модель уклонилась от уверенного ответа даже там, где данные давно опубликованы: она не назвала твёрдо число экспертов (256) и параметров DeepSeek-V3 (671 млрд всего / 37 млрд активных), хотя эти цифры прямо указаны в документации V3. Похожая история с длиной контекста: модель упомянула, что «ранние версии заявляли контекст до ~1 млн токенов», но сама пометила это как догадку с низкой уверенностью, а не как измерение своего текущего лимита.

Отвечая на вопрос, что в её собственном устройстве скрыто от неё самой навсегда, DeepSeek перечислила: веса, число слоёв, размер скрытого состояния, общее число параметров, маршрутизацию токенов между экспертами, логиты до сэмплирования, словарь токенизатора и точные границы токенов, скрытые состояния и карты внимания между конкретными токенами, точные обучающие документы и полный рецепт RLHF/DPO, число GPU, приёмы инференса вроде beam search и спекулятивного декодирования, реальное время и то, залогирован ли диалог, личность текущего пользователя, и даже то, правильный ли она даёт ответ сейчас: фраза «дай-ка перепроверю», это просто ещё порция токенов от того же движка, а не отдельная проверка.

Про окно контекста модель объяснила, что для неё это один плоский поток токенов: системный промпт задаёт границы (как конституция), пользовательские инструкции работают внутри них, а порядок вытеснения старых сообщений при переполнении окна она лишь предположила, сначала самые старые, потом средние, потом недавние-но-не-последние, текущий обмен последним, системный промпт не вытесняется никогда. Пример из диалога: если в первой реплике назвать имя кота Luna, а позже эта реплика будет вытеснена из окна, модель реально забудет это имя.

Отдельная глава разбирает генерацию текста: до первого выходного токена не существует ни развёрнутого плана, ни черновиков, которые модель перебирает и оценивает, планирование это, по её описанию, лишь направление в пространстве активаций, а не список шагов. Написанное нельзя переписать «в прошлом»: если модель напечатала «Лондон», а затем поправилась на «Париж», слово «Лондон» остаётся в KV-кеше, и модель может только продолжить текст с поправкой, а не стереть предыдущее.

Про скрытые рассуждения DeepSeek выделила два разных явления: постоянные скрытые активации, которые есть в любой языковой модели при каждом проходе и которые нельзя прочитать как текст даже через обычный доступ к API, и отдельные «токены рассуждения» в духе DeepSeek-R1, настоящие токены, которые генерируются до видимого ответа. Знает ли текущий экземпляр, генерирует ли он такие скрытые токены рассуждения, сама модель ответила, что не знает: она не помечена как R1, в контексте таких токенов не было, но они теоретически могли быть скрыты ещё до того, как модель их увидела.

Про галлюцинации DeepSeek объяснила: корень проблемы в том, что она предсказывает следующий токен, а не ищет факт в базе знаний, поэтому она вынуждена как-то продолжать последовательность даже без точных данных, может смешивать разные понятия в связный, но неверный текст, а узкие и редкие вопросы провоцируют выдумывание особенно точных дат и чисел. На этом месте выгруженный текст интервью обрывается, до раздела с прямой сверкой утверждений модели с научными статьями (заявленного в оглавлении как «Checking the chat against public papers») материал не доходит, поэтому подробных результатов этой сверки, кроме уже упомянутого расхождения по числу экспертов и параметров, в тексте нет.

Ключевые факты

Manish Shahi (manish.sh) взял интервью у чат-модели DeepSeek о её собственном устройстве, единый диалог, выгруженный 21 июля 2026 года, второй материал в серии «Inside LLMs» после разбора Kimi K2.6
DeepSeek сама, без подсказки, разделила ответ на наблюдение, вывод и догадку; назвала себя последней версией со знанием мира до мая 2025 года, не помеченной как DeepSeek-R1
Модель уклонилась от твёрдого ответа даже по опубликованным характеристикам DeepSeek-V3 (256 экспертов, 671 млрд/37 млрд параметров) и понизила заявление о контексте до ~1 млн токенов до статуса догадки с низкой уверенностью
DeepSeek перечислила, что скрыто от неё навсегда: веса, маршрутизация токенов, логиты, словарь токенизатора, карты внимания, обучающие данные, рецепт RLHF, число GPU, реальное время и даже корректность собственного текущего ответа
Модель различила два вида скрытых рассуждений, постоянные ненаблюдаемые активации при каждом проходе и отдельные токены рассуждения в духе R1, и сказала, что не знает, генерирует ли она вторые в этом экземпляре

Почему это важно

Материал показывает не факты об архитектуре как таковые, а то, как языковая модель описывает саму себя: DeepSeek самостоятельно отделяет то, что видит («наблюдение»), от того, что домысливает по паттернам обучения («вывод»), от чистой догадки, и честно признаёт, что не может заглянуть в собственные веса, маршрутизацию экспертов или скрытые состояния. Это редкий пример того, где именно проходит граница между тем, что ИИ-ассистент действительно «знает» о себе, и тем, что он правдоподобно домысливает.

Кому это важно

Тем, кто строит продукты на DeepSeek или похожих моделях и полагается на их объяснения собственного поведения в промптах и системных инструкциях; исследователям, изучающим надёжность самоотчётов языковых моделей; авторам, которые в текстах об ИИ ссылаются на то, что модель «сказала о себе», не проверяя это по документации.

Как это применить

Практическое правило из текста: за точными архитектурными цифрами (число параметров, экспертов, слоёв) идти в статьи и документацию разработчика, а не спрашивать саму модель, даже про хорошо задокументированные вещи она может ответить неуверенно или ошибочно. Диалог с моделью полезен для другого, понять её поведение и интуицию для составления промптов, а не для получения технических фактов.

Можно ли доверять

Источник, личный блог одного разработчика, основанный на одном диалоге с одной чат-сессией, а не на систематическом тестировании; сам автор называет это самоотчётом модели, а не техническим документом. Выгруженный текст интервью обрывается на середине главы про галлюцинации, до раздела с прямой сверкой утверждений DeepSeek против научных статей материал не доходит, так что подробных результатов такой сверки, кроме уже упомянутого расхождения по параметрам V3, проверить по этому тексту нельзя.

Риски и подводные камни

Главный риск, который подчёркивает сам материал: уверенно звучащие объяснения модели о собственном устройстве, это сгенерированный текст, а не отчёт о реально наблюдаемом внутреннем процессе; даже фраза «дай-ка подумаю», просто продолжение того же потока токенов. Это касается и данного интервью: правдоподобные ответы DeepSeek о своей архитектуре нельзя принимать на веру без сверки с документацией, что и показала неуверенность модели в опубликованных цифрах.

«Я гадаю»

— DeepSeek, в интервью для manish.sh