Project Apertus выпустил Apertus 1.5: открытая нейросеть теперь понимает изображения и звук

Project Apertus опубликовал заметки к релизу Apertus 1.5. Это продолжение предобучения моделей первого поколения: к модели на 8 млрд параметров добавлено 4 трлн токенов текстовых и мультимодальных данных, к модели на 70 млрд, 2 трлн. Итоговый объём обучения, 19 трлн и 17 трлн токенов соответственно. Как и в каждом релизе Apertus, модели полностью открыты: открыты веса, данные, «ценности» и подробности обучения.

Главные улучшения. Модели принимают изображения и аудио наряду с текстом (документы, диаграммы, фотографии); обработка устной речи пока экспериментальная. Появился режим рассуждения («thinking mode»): модель можно переключить так, чтобы она обдумывала вход перед ответом, что, по словам авторов, повышает результаты на задачах на рассуждение. Контекстное окно выросло до 262 144 токенов, в 4 раза больше, чем у Apertus 1.0. Также заявлены лучшее следование инструкциям, более качественная работа с инструментами и API и более строгое соблюдение Хартии Apertus, делающей ценности модели прозрачными.

Мультимодальность устроена по схеме ранней интеграции (early fusion): изображения и аудио поступают в модель дискретными токенами в одной последовательности с текстом, без отдельного визуального энкодера. Изображения кодируются токенизатором Emu3.5 (картинка 512×512 превращается в 1 024 токена), аудио, WavTokenizer (40 токенов в секунду). Расширен только словарь, архитектура не менялась, а обучение идёт со скоростью текстовой модели. Модели понимают изображения и звук, но генерируют только текст.

Предобучение шло в четыре этапа: без пар (текст плюс отдельные изображения и аудио), с парами (подпись, изображение, транскрипт, аудио), «остывание» на данных более высокого качества с большей долей математики и кода, и длинный контекст, где окно постепенно растёт с 8 тыс. до 262 тыс. токенов. Больше половины токенов, только текст, чтобы сохранить языковые способности Apertus 1.0. Текстовые данные обновлены источниками вроде FineWeb2-HQ+, FinePDFs и Nemotron-CC. Все новые данные, включая мультимодальные, общедоступны, имеют разрешительные лицензии, а отказы через robots.txt учитываются задним числом.

Посттренинг состоит из пяти этапов: SFT (контролируемое дообучение, 3,7 млн текстовых примеров плюс данные по изображениям и речи; цепочки рассуждений добавляют только к запросам, которые модель иначе не решает; данные по инструментам, только проверенные исполнением), SFT на длинном контексте (в полном окне 262k, чтобы вернуть способность, которую подрывает короткий SFT), RL с проверяемыми наградами примерно на 350 тыс. запросов (математика, код, следование инструкциям, многоязычность, зрение), DPO по парам предпочтений с оценкой судьёй и выравнивание по Хартии (SDPO). Команда выложила текстовую смесь для SFT, пул предпочтений и обучающие пары.

Оценка. Набор тестов расширен: добавлены мультимодальные (изображения и аудио) и проверки режима рассуждения, а также тесты на перевод, многоязычность, безопасность и работу с инструментами. По оценке авторов, релиз всё ещё уступает передовым открытым моделям, но заметно улучшился в программировании и следовании инструкциям; Apertus 1.5 8B превосходит сопоставимые по размеру открытые модели в задачах на следование инструкциям и многоязычных. Режим рассуждения дополнительно повышает результаты на сложных тестах вроде AIME. Мультимодальные результаты ближе к Gemma 4 12B и другим современным открытым моделям; в пространственном понимании модель конкурентна среди моделей с открытыми весами, а в понимании документов и графиков, среди моделей с открытым кодом. На Swiss Legal (швейцарские юридические задачи) показатели на уровне ведущих открытых моделей. На Last Translation Benchmark версия 8B по машинному переводу соответствует GPT-OSS-20B и обходит Claude Haiku 4.5 и Google Translate. Числовых значений в тексте заметок не приводится.

Прозрачность оценок: результаты публикуются в формате Every Eval Ever (EEE) вместе с коалицией EvalEval: он фиксирует не только баллы, но и кто запускал оценку, как был получен доступ к модели, параметры генерации и трактовку метрик. Тексты оценок идут на публичной ветке lm-evaluation-harness, так что любой может перезапустить их и сравнить результаты. По данным EvalEval, схема EEE способна представить 56 из 60 элементов отчётности по оценке, которых требуют рамки регулирования ИИ, включая статью 55 Акта ЕС об ИИ и Кодекс практики для ИИ общего назначения.

Воспроизводимость и доступность. Рецепты, абляции и смеси данных описаны в техническом отчёте (препринт arXiv:2610.15542 от 11 октября 2026 года). Промежуточные чекпойнты, базовые веса, SFT, RLVR и DPO, лежат в коллекции на Hugging Face вместе с обучающими данными. Приложения Proton Lumo и Infomaniak Euria уже интегрировали Apertus 1.5; доступ через API объявили Swisscom, Infomaniak, Phoeniqs и другие компании. Загрузок моделей Apertus, по аналитике Hugging Face, уже пять миллионов. На саммите AI+X в Цюрихе команда анонсировала дорожную карту Apertus 2.0: разреженная архитектура (MoE), около 600 млрд параметров в сумме, более длительное обучение, приоритеты, агенты, математика и программирование.

Ключевые факты

Apertus 1.5, дообучение моделей 8B и 70B: добавлено 4 трлн и 2 трлн токенов, итого 19 трлн и 17 трлн; веса, данные и детали обучения открыты.
Новое: ввод изображений и аудио (речь, экспериментально; вывод только текст), режим рассуждения, контекст 262 144 токена (в 4 раза больше, чем у версии 1.0).
Мультимодальность через токенизаторы (Emu3.5 для картинок, WavTokenizer для звука) без отдельного визуального энкодера: меняется лишь словарь, архитектура прежняя.
По оценке авторов, версия 8B обходит сопоставимые открытые модели в следовании инструкциям и многоязычных задачах, а в переводе на Last Translation Benchmark сравнима с GPT-OSS-20B; общий уровень всё ещё ниже передовых открытых моделей.
Анонсирована Apertus 2.0: разреженная архитектура (MoE), около 600 млрд параметров, приоритеты, агенты, математика, программирование.

Почему это важно

Apertus 1.5, редкий пример модели, у которой открыто не только содержимое весов, но и данные, промежуточные чекпойнты и рецепты обучения. Релиз добавляет мультимодальный вход, режим рассуждения и длинный контекст, то есть сокращает разрыв с закрытыми и частично открытыми моделями. Заметна и инженерная идея: мультимодальность достигается расширением словаря без изменения архитектуры, а обучение идёт со скоростью текстовой модели.

Кому это важно

Исследователям, которым нужны воспроизводимые рецепты и промежуточные чекпойнты; разработчикам, выбирающим открытую модель для работы с документами, диаграммами и многоязычными задачами (включая перевод); компаниям и регуляторам, заинтересованным в документированных данных обучения и стандартизированной отчётности по оценкам.

Как это применить

Согласно заметкам, веса моделей и промежуточные чекпойнты (базовые, SFT, RLVR, DPO) лежат в коллекции Apertus 1.5 на Hugging Face, техническая инструкция по запуску, в карточках моделей и в Quickstart. Для доступа без собственного развёртывания об API объявили Swisscom, Infomaniak, Phoeniqs и другие провайдеры. Оценки можно перезапустить на публичной ветке lm-evaluation-harness и сравнить со своими. Условия лицензии весов в доступном тексте не указаны, проверяйте карточки моделей.

Можно ли доверять

Источник, собственные заметки к релизу команды Project Apertus, то есть первоисточник, но не независимая оценка. Сравнения с Gemma 4 12B, GPT-OSS-20B, Claude Haiku 4.5 и Google Translate даны без числовых значений. Авторы сами оговаривают, что модель уступает передовым открытым, а обработка речи экспериментальная. Плюс: результаты опубликованы в формате EEE, их можно перезапустить и проверить.

Риски и подводные камни

Модель только понимает изображения и аудио, но генерирует лишь текст. Обработка речи экспериментальна. Мультимодальные результаты описаны как «ближе к Gemma 4 12B и другим открытым моделям», а общий уровень, ниже передовых открытых моделей; без чисел оценить разрыв нельзя. В доступном тексте не уточнено, какие размеры поддерживают мультимодальность, и не названа лицензия весов. Заявления о ценностях и соответствии Хартии Apertus основаны на оценке судьи-модели (по описанию метода SDPO).