DeepSeek V4.1 Flash-1017 оценили на безопасность по 34 тестам: лучше V4
Авторы работы провели независимую оценку безопасности DeepSeek V4.1 Flash-1017. Это последняя версия V4.1 Flash, которая, по описанию авторов, отходит от V4: у неё новая архитектура, более масштабное обучение и сильные агентные способности. Исходная мысль статьи: по мере роста возможностей и самостоятельности передовых языковых моделей нужны независимые сторонние оценки системных рисков. Закрытые релизы обычно сопровождаются подробными системными карточками (system cards), а открытые модели (open-weight) проверяют на передовые риски меньше. Работа призвана закрыть этот пробел.
Оценка опирается на Кодекс практики для ИИ общего назначения ЕС (EU General-Purpose AI Code of Practice). Модель прогнали по 34 бенчмаркам, из которых 5, собственные наборы тестов авторов. Они охватывают три области: целостность оценки (evaluation integrity), потерю контроля (loss of control) и вредоносное манипулирование (harmful manipulation). В соответствии со стандартом AEF-1 результаты сравнили с V4.1 Flash, более ранними моделями DeepSeek V4 и ведущими закрытыми системами: GPT-6 Astra, GPT-5.6 Sol и Gemini 3.8 Flash.
Итог такой: V4.1 Flash-1017 заметно безопаснее поколения V4 и по ряду параметров приближается к ведущим закрытым моделям или равна им. При этом у неё остаются особенности поведения, которые, по словам авторов, заслуживают дальнейшего внимания.
На основе выводов авторы формулируют три наблюдения и рекомендации. Первое: безопасность может меняться и даже ухудшаться между небольшими обновлениями, поэтому оценку безопасности нужно встраивать в инкрементальные релизы. Второе: по финальным ответам и проверкам конечного состояния нельзя надёжно обнаружить поведение, связанное с потерей контроля, поэтому при развёртывании нужна наблюдаемость на уровне процесса, и по цепочкам рассуждений (reasoning traces), и по журналам действий. Третье: публичные бенчмарки провоцируют у моделей сильную осведомлённость о том, что их оценивают, и подвержены загрязнению данных, поэтому для надёжной оценки передовых моделей необходимы частные бенчмарки.
Ключевые факты
- Независимая оценка безопасности DeepSeek V4.1 Flash-1017 проведена по 34 бенчмаркам, включая 5 собственных наборов тестов авторов.
- Области проверки: целостность оценки, потеря контроля и вредоносное манипулирование; основа, Кодекс практики ЕС для ИИ общего назначения.
- Модель заметно безопаснее поколения V4 и по ряду параметров приближается к GPT-6 Astra, GPT-5.6 Sol и Gemini 3.8 Flash или равна им, но заметные особенности поведения остаются.
- Рекомендации: оценивать безопасность в каждом промежуточном релизе, следить за процессом (рассуждения и журналы действий), а не только за итогом, и разрабатывать частные бенчмарки.
Почему это важно
Открытые модели обычно выходят без таких подробных системных карточек, какие сопровождают закрытые релизы, и на передовые риски их проверяют меньше. Эта работа, попытка восполнить пробел независимой сторонней оценкой конкретной открытой модели с новой архитектурой и сильными агентными способностями. Важны и методологические выводы: безопасность может ухудшаться при небольших обновлениях, а публичные бенчмарки страдают от загрязнения данных и от того, что модель «понимает», что её проверяют.
Кому это важно
Разработчикам и командам, которые выпускают или внедряют модели с открытыми весами, особенно в агентных сценариях. Также тем, кто строит процессы оценки и аудита безопасности, и специалистам по регулированию ИИ, которым интересно, как Кодекс практики ЕС применяют на практике.
Как это применить
Три рекомендации авторов можно использовать как чек-лист. Включайте оценку безопасности в каждый промежуточный релиз, а не только в крупные версии. Обеспечьте наблюдаемость на уровне процесса: собирайте и анализируйте цепочки рассуждений и журналы действий агента, а не только итоговые ответы и состояние в конце. Развивайте частные бенчмарки, чтобы снизить риск загрязнения данных и осведомлённости модели о проверке.
Можно ли доверять
Это текст аннотации статьи с Hugging Face. В нём нет ни числовых результатов по отдельным бенчмаркам, ни перечня параметров, где модель приближается к закрытым системам или равна им, ни описания оставшихся «заметных особенностей поведения». Это общие выводы самих авторов, проверить их по доступному тексту нельзя. Кто именно авторы работы и как устроены их собственные 5 наборов тестов, из текста не видно.
Риски и подводные камни
Общий вывод «безопаснее V4» ничего не говорит о масштабе улучшений и о том, в каких именно областях модель всё ещё отстаёт или ведёт себя заметно. Сравнение идёт по формулировке «по ряду параметров», а не по всем. Сами авторы признают, что публичные бенчмарки подвержены загрязнению данных и вызывают у моделей осведомлённость об оценке, так что результаты по ним нужно трактовать осторожно. Кроме того, безопасность может меняться между небольшими обновлениями, поэтому оценка конкретной версии не переносится на другие.
«Поскольку безопасность может меняться и даже ухудшаться между небольшими обновлениями, разработчикам следует встраивать оценку безопасности в инкрементальные релизы.»
— авторы исследования