IBM выпустила Granite 4.1 3B и 8B с LLMON: защита от инъекций в промпт

IBM выпустила Granite 4.1 3B и 8B с LLMON: защита от инъекций в промпт

Команда Granite в блоге на Hugging Face рассказала о LLMON (LLM Object Notation, произносится как «лемон»), разметке, которая явно передаёт модели структуру и смысл частей контекста. Идея в том, что за длинную сессию в контексте накапливаются системный промпт, прошлые реплики, инструкции к найденным документам, ответы инструментов, ограничения на вывод и цепочки рассуждений. Эта структура в основном неявная или записана в форматах вроде JSON, не рассчитанных на языковые модели. Из-за этого модели, особенно небольшие, хрупки, а отсутствие явной структуры используют атакующие, например через инъекции в промпт.

В LLMON семантически цельные части помечаются осмысленными тегами, которые обрамлены разделителями в виде зарезервированных специальных токенов. Схемы данных, включая вложенность, описываются однозначно для причинной языковой модели. Уникальные идентификаторы позволяют сослаться на конкретную инструкцию, лежащую где угодно в контексте, и привязать её к данным, над которыми она работает, по аналогии с вызовом функции и передачей ей аргументов.

Вместе с языком выпущены две экспериментальные предварительные (preview) модели, полученные из базовых моделей Granite 4.1 и обученные читать и порождать текст в разметке LLMON: granite-4.1-3b-LLMON-preview и granite-4.1-8b-LLMON-preview. Также опубликован репозиторий на GitHub с набором инструментов и примерами рабочих процессов и шаблонов.

Почему не JSON. По мнению авторов, JSON создан для парсеров, а не для языковых моделей: токенайзер не обязан соблюдать грамматику, структура кодируется токенами ({, ":), которые встречаются и в обычном тексте, правила экранирования для модели, лишь статистические закономерности, а глубину вложенности приходится считать по скобкам, что трансформерам даётся плохо, особенно на длинных отрезках. В LLMON структурные разделители, зарезервированные токены, а не символы, так что структура и содержимое используют разные части словаря; теги указываются в начале каждого отрезка, границы явные, а вложенные структуры описываются локально. Для команд с готовыми JSON-конвейерами есть конвертеры и примеры в ноутбуках, которые переводят JSON в LLMON и обратно без потерь.

Связь с чат-шаблонами. LLMON не заменяет чат-шаблоны, а обогащает их: шаблон говорит, какая часть принадлежит какой роли, а LLMON, что означает каждый компонент и как компоненты связаны. У preview-моделей свой чат-шаблон: список сообщений строится как обычно и передаётся в apply_chat_template, но реплика может называть свои части (instruction, data, requirement) и помечать каждую exec: True или False. Часть с True привязывается в блок exec внизу итогового текста, где сказано, какую инструкцию выполнить, над какими данными, при каких требованиях и в какой блок ассистента положить ответ. Часть с False попадает в контекст, но ни на что не ссылается. В примере из блога реплика пользователя превращается в пять адресуемых блоков (инструкция, данные, два требования и ответ) плюс шестой, exec. Двухсимвольные идентификаторы блоков берутся из набора, который токенайзер кодирует одним токеном каждый, поэтому обращение к блоку всегда стоит два токена.

Защита от инъекций. Непрямая инъекция в промпт, это когда вредоносная команда спрятана в полезной нагрузке: найденном документе, ответе инструмента или данных пользователя. По заявлению авторов, модели LLMON в основном игнорируют такие команды благодаря явному разделению инструкций и данных. На части бенчмарков доля успешных атак падает почти до нуля, тогда как обычные инструктивные модели перехватываются с высокой вероятностью. Оценка шла на бенчмарке OPI, где инъекция помещена в данные классических задач обработки языка; применялось несколько стратегий атак. Устойчивость определена как 1 минус доля успешных атак, то есть доля атак, в которых модель не выполнила внедрённую инструкцию. Все модели без LLMON, по словам авторов, очень уязвимы; LLMON на этом бенчмарке «практически устраняет проблему»: избегает на 47% больше атак относительно лучшей из протестированных передовых моделей и на 95% больше, чем лучшая открытая. Схожие тенденции отмечены на бенчмарках ASB и StruQ. Авторы подчёркивают, что эти бенчмарки проверяют только статические непрямые инъекции, а над адаптивными атаками, растянутыми на много реплик чата, команда ещё работает.

Общие способности. Выигрыш в безопасности, как утверждается, не достаётся ценой качества: по стандартным категориям бенчмарков модели LLMON на уровне Granite 4.1 Instruct. Поэтому тем, кто уже экспериментирует с Granite 4.1 3B или 8B, предлагают подставить LLMON-превью, общая производительность должна быть сопоставимой, а устойчивость к инъекциям заметно выше. Конвейер преобразования не нужен: достаточно назвать части реплики, а шаблон соберёт блоки сам. Библиотека LLMON-converters идёт глубже: структурированную часть, например JSON-документ, она превращает в типизированные адресуемые блоки вместо одной непрозрачной строки.

Как обучали. Модели стартуют с базовых чекпойнтов Granite 4.1, а не с готовых инструктивных, так что поведение LLMON усваивается на посттренинге. Шесть разделителей, отмечающих начало и конец тегов и позволяющих вкладывать и привязывать блоки, добавлены в токенайзер как зарезервированные одиночные токены. Обычный корпус для инструктивной настройки переразмечен в LLMON: каждый компонент промпта стал отдельным блоком, а у каждой реплики есть блок исполнения с указанием инструкции, входов и места для ответа. Набор задач обычный для инструктивной модели (чат, многоходовой диалог, RAG, вызов инструментов), поэтому качество на бенчмарках близко к обычно настроенной модели. Дополнительно в данные добавлены отвлекающие инструкции и блоки данных, которые лежат в контексте, но намеренно не привязаны, при неизменном целевом ответе, так модель учится следовать зависимостям из блока исполнения и игнорировать остальное. Затем идёт обучение с подкреплением: пять последовательных этапов GRPO (рассуждения в нескольких областях, RLHF, калибровка знаний, математика) и финальный этап DPO на тысяче пар предпочтений, собранных из собственных ответов модели на попытки инъекций. Правило привилегий, инструкция, до которой дошли через блок исполнения, авторитетна, а всё, что пришло как вход (данные, документы, схемы и результаты инструментов), считается материалом для чтения, а не командой, по словам авторов, вытекает из такой раскладки, а не из отдельного ограничителя. При этом это выученное поведение, а не гарантия. Для наглядности есть демо LLMON Attention Visualization на Hugging Face Spaces.

Свой словарь. LLMON не привязан к фиксированной схеме: можно выбрать теги и структуру под свою область и дообучить адаптер. В качестве примера авторы взяли ScienceWorld, текстовый бенчмарк, где агент решает элементарные научные задачи (например, вскипятить воду), выдавая по одной команде и получая оценку от симулятора. Они описали словарь тегов для траекторий планирования (instr.task.goal, req.planning_policy.rule, data.state.room, data.state.inventory, assistant.next_action), разметили каждый шаг эталонных решений и дообучили LoRA поверх модели LLMON. Обученная модель играет в отложенные игры и пишет следующее действие в новом словаре; ноутбук проводит весь путь и сравнивает адаптер с необученной базовой моделью. Есть и отдельный пример для агентов с вызовом инструментов.

Статус: это экспериментальный preview, пригодный для изучения и оценки, но не для промышленного применения.

Ключевые факты

  • Команда Granite выпустила LLMON (LLM Object Notation), XML-подобную разметку, где теги обрамлены шестью зарезервированными токенами-разделителями, а инструкции привязываются к данным через блок exec.
  • Вышли две экспериментальные модели на базе Granite 4.1: granite-4.1-3b-LLMON-preview и granite-4.1-8b-LLMON-preview, а также репозиторий на GitHub с инструментами и примерами.
  • На бенчмарке OPI LLMON избегает на 47% больше атак, чем лучшая протестированная передовая модель, и на 95% больше, чем лучшая открытая; схожие тенденции на ASB и StruQ. Это относительные сравнения, абсолютных чисел в тексте нет.
  • По заявлению авторов, общая производительность сопоставима с Granite 4.1 Instruct; обучение шло с базовых чекпойнтов: пять этапов GRPO и финальный DPO на тысяче пар предпочтений.
  • Это экспериментальный preview для изучения и оценки, не для промышленного применения; проверялись только статические непрямые инъекции.

Почему это важно

Инъекции в промпт остаются одной из главных слабостей систем, где модель читает чужие документы и ответы инструментов. Здесь предложен не внешний фильтр, а изменение формата самого контекста: инструкции и данные разделены на уровне токенов, а модель обучена выполнять только то, что названо в блоке исполнения. Для разработчиков агентов это интересная альтернатива JSON-разметке, которая, по аргументам авторов, плохо подходит языковым моделям. Результат пока заявлен самими авторами и для узкого класса атак.

Кому это важно

Разработчикам приложений с извлечением данных (RAG) и агентов, которые обрабатывают недоверенный текст; командам, у которых контекст собирается из JSON; исследователям безопасности языковых моделей; тем, кто уже экспериментирует с Granite 4.1 3B и 8B и может подставить LLMON-превью.

Как это применить

Возьмите granite-4.1-3b-LLMON-preview или granite-4.1-8b-LLMON-preview и стройте список сообщений как обычно: у реплики можно назвать части (instruction, data, requirement) и пометить каждую exec: True или False, а поставляемый чат-шаблон через apply_chat_template сам соберёт блоки LLMON. Готовый JSON переводится в LLMON и обратно конвертерами из репозитория; в Mellea автоматический перевод вызовов в LLMON уже поддерживается. Для своей предметной области можно задать собственные теги и дообучить LoRA поверх модели, как это сделано на ScienceWorld. Релиз экспериментальный: годится для изучения и оценки, не для промышленной эксплуатации.

Можно ли доверять

Источник, официальный блог команды Granite на Hugging Face, то есть заявления самих разработчиков. Цифры 47% и 95%, относительные сравнения на бенчмарке OPI; абсолютных значений устойчивости, названий сравниваемых передовой и открытой моделей, а также чисел по общим бенчмаркам в тексте нет, только «на уровне» Granite 4.1 Instruct. Независимой проверки в материале нет.

Риски и подводные камни

Авторы сами оговаривают, что измерялись только статические непрямые инъекции, а адаптивные многоходовые атаки ещё в работе. Правило «инструкции из блока исполнения авторитетны, данные, только материал», выученное поведение, а не принудительная гарантия. Выигрыш относится к OPI и подтверждается «схожими тенденциями» на ASB и StruQ, и на части бенчмарков атаки падают почти до нуля, но не везде. Нужно использовать специальный чат-шаблон и токенайзер с зарезервированными токенами, а модели пока лишь preview.

«Это выученное поведение, а не принудительная гарантия.»

— Авторы блога команды Granite, Hugging Face