Метод PTP восстанавливает промпт по ответу нейросети через предсказание предыдущего токена
Большие языковые модели генерируют текст, по одному токену выбирая следующий. Из-за этого между промптами и ответами возникает соответствие «многие ко многим», и вывести промпт по готовому ответу непросто. Эту задачу называют инверсией LLM.
По описанию авторов, прежние работы трактуют восстановление промпта как задачу семантической реконструкции: дообучают предобученные модели «последовательность в последовательность» на больших внешних датасетах, требуют доступа к весам или логитам модели и в итоге получают семантически правдоподобные промпты.
В препринте, поданном на arXiv 31 июля 2026 года (раздел Computation and Language), предлагают другой путь, метод PTP (Previous-Token Prediction). Он работает в режиме чёрного ящика, то есть инвертирует заданную LLM без вспомогательных средств. Явную обратную языковую модель обучают полностью с нуля на данных, синтетически сгенерированных самой целевой LLM. Обучение идёт по аналогии с прямым предсказанием следующего токена, только модель учится предсказывать предыдущий токен. По утверждению авторов, это создаёт генеративную связь между прямым и обратным процессами и позволяет точно восстанавливать промпт.
Дополнительные заявленные свойства: за счёт сэмплирования метод естественно выдаёт разные варианты восстановленного промпта, и все они вызывают у целевой LLM похожие ответы. Подход, как утверждают авторы, обобщается на разные датасеты и переносится на ответы, сгенерированные другими LLM. По набору токен-ориентированных метрик качества восстановления промптов и ответов метод превосходит прежние работы. Конкретные значения метрик, названия датасетов, моделей и базовых методов в доступном тексте аннотации не приводятся.
Ключевые факты
- PTP инвертирует LLM в режиме чёрного ящика: восстанавливает промпт по наблюдаемому ответу без вспомогательных средств.
- Обратная языковая модель обучается с нуля на данных, синтетически сгенерированных самой целевой LLM, а не на больших внешних датасетах.
- Обучение идёт через предсказание предыдущего токена, по аналогии с обычным предсказанием следующего токена.
- Сэмплирование даёт разные варианты промпта, и все они вызывают у целевой LLM похожие ответы.
- Авторы заявляют, что метод превосходит прежние работы по токен-ориентированным метрикам и переносится между LLM; цифр в аннотации нет.
Почему это важно
Задача восстановления промпта по ответу трудна из-за соответствия «многие ко многим» между промптами и ответами. По описанию авторов, прежние подходы требуют доступа к весам или логитам и большого внешнего датасета и нацелены на семантически правдоподобные промпты. PTP, по их словам, обходится без доступа к внутренностям модели и стремится к более точному, почти дословному восстановлению промпта (так звучит и название статьи).
Кому это важно
Прежде всего исследователям, которые занимаются инверсией LLM и анализом связи между промптами и ответами моделей. Подход может заинтересовать и тех, кто работает с закрытыми моделями, где доступны только сгенерированные тексты, а веса и логиты недоступны: именно такую постановку (чёрный ящик) заявляют авторы.
Как это применить
Практических инструкций в аннотации нет. Схема, которую она описывает, такая: сгенерировать синтетические данные с помощью целевой LLM, обучить с нуля обратную языковую модель предсказанию предыдущего токена, затем сэмплировать из неё варианты промпта по имеющемуся ответу. Чтобы повторить это, нужен полный текст статьи.
Можно ли доверять
Источник, аннотация препринта на arXiv. В ней нет имён авторов и организаций, значений метрик, названий датасетов, целевых LLM и базовых методов, а также сведений о выходе кода. Рецензирование и принятие на конференцию или в журнал в тексте не упоминаются. Все утверждения о превосходстве над прежними работами и переносимости, слова самих авторов, независимо они не проверены.
Риски и подводные камни
Превосходство заявлено только «по набору токен-ориентированных метрик», а на сколько именно, неизвестно: цифр в аннотации нет. Токенные метрики могут не отражать смысловое сходство, а заявление о переносимости между LLM не сопровождается подробностями. Вопросы безопасности и приватности, связанные с возможностью восстанавливать промпты, в аннотации не обсуждаются.
«Аналогично прямому предсказанию следующего токена, наша обратная модель обучается с помощью предсказания предыдущего токена, что создаёт генеративную связь между прямым и обратным процессами и обеспечивает точное восстановление промпта.»
— из аннотации препринта PTP на arXiv