Водяной знак OpenAI textGrain часто не переживает правку текста

С 2 августа в силе обязательства по прозрачности из статьи 50 Закона ЕС об ИИ: поставщики систем, которые создают синтетический звук, изображения, видео или текст, должны маркировать результат в машиночитаемом формате, чтобы его можно было распознать как созданный или изменённый искусственно. Технические решения должны быть «эффективными, совместимыми, надёжными и устойчивыми, насколько это технически возможно». OpenAI в октябре выпустила водяной знак для текста textGrain как раз под эти правила. IEEE Spectrum пишет, что тесты показывают: метки часто не переживают дополнительную правку и тексты короче 150 слов.

Как это работает. Языковая модель считает вероятности следующих токенов (слова или его фрагмента) и выбирает один. Водяной знак с помощью секретного ключа порождает псевдослучайные значения, которые влияют на выбор токена. В тексте возникает статистический узор, который ищет детектор с тем же ключом. Особенность textGrain, по словам Сянь Ли (Xiang Li), соавтора технического отчёта и постдока Пенсильванского университета, в том, что энтропия, то есть мера непредсказуемости выбора слов, расходуется как бюджетируемый ресурс: разработчик задаёт, сколько непредсказуемости он готов допустить, и textGrain подстраивается под эту цель. Ли сравнивает энтропию с деньгами. Метка невидима для читателя; положительный результат не показывает, какую долю текста написал человек, а отрицательный не доказывает, что текст написан человеком.

Цифры. Доля ложных срабатываний у детектора OpenAI, 1 процент: он рассчитан так, что примерно один из 100 текстов без метки помечается ошибочно. В тестах на психологических вопросах из базы ELI5 (вопросы и ответы с сабреддита r/explainlikeimfive) метка обнаруживалась примерно в 80 процентах текстов длиной 200 токенов (около 150 слов) и в 95 процентах текстов длиной 400 токенов (около 300 слов). Ли называет это «базовым ограничением» технологий текстовых водяных знаков: в коротком отрывке может не хватать следов метки для надёжного обнаружения, даже при дополнительных вычислениях. Правка тоже ослабляет сигнал. По данным OpenAI, в оценке на отрывках по 400 токенов замена лишь 10 процентов слов синонимами снижала обнаружение с 92 до 66 процентов, а замена до 25 процентов, до 17 процентов. Поскольку метка зависит от предыдущих токенов, замена одного слова может нарушить сигнал сразу в нескольких позициях.

Сам OpenAI говорит, что одного водяного знака недостаточно, чтобы определить, создан ли контент ИИ; textGrain, по её словам, будет «дополнять» другие средства происхождения контента, например учётные данные контента в метаданных и водяные знаки SynthID от Google DeepMind для изображений и звука. OpenAI утверждает, что в собственных тестах textGrain сравнялся с Google SynthID Text или превзошёл его, но независимой проверки этих результатов нет. OpenAI не ответила на запрос о комментарии.

Юридическая сторона. Кодекс практики ЕС, добровольный способ показать соответствие закону, не требует водяных знаков для результатов короче 200 токенов. Томас Сувере́н (Thomas Souverain), постдокторант по этике ИИ в Institute of Advanced Education в Париже, говорит, что закон допускает разные трактовки. По его оценке, ранняя методика textGrain выглядит надёжной и может лучше конкурентов выявлять сгенерированный текст. Но пока независимые исследователи не смогут проверить систему и пока в Законе об ИИ нет измеримых порогов, слишком рано говорить, соответствует ли textGrain закону. По словам Сувере́на, у публики есть лишь технический отчёт: рецензируемой статьи нет, точного протокола нет. Если окажется, что textGrain не отвечает требованиям ЕС, OpenAI, по его словам, может грозить штраф до 7 процентов годового дохода.

OpenAI работает с ограниченной группой исследователей, в том числе с Джоном Тикстоном (John Thickstun), доцентом по информатике Корнеллского университета, и учёными Института интеллектуальных технологий имени Кемпелена (KInIT) в Братиславе. Тикстон и Доминик Макко (Dominik Macko), старший исследователь KInIT, говорят, что только получили доступ и ещё не начали оценку. Команда Макко планирует проверить устойчивость textGrain по разным темам, языкам и длинам текста. Сувере́н призывает OpenAI открыть код textGrain, чтобы сторонние исследователи могли попытаться его сломать и найти слабые места, ошибки при перефразировании и переводе.

Ключевые факты

• OpenAI выпустила водяной знак для текста textGrain в октябре под требования статьи 50 Закона ЕС об ИИ; метка, по данным тестов, часто не переживает правку и тексты короче 150 слов.
• В тестах на психологических вопросах из ELI5 метка найдена примерно в 80 процентах текстов по 200 токенов (около 150 слов) и в 95 процентах текстов по 400 токенов (около 300 слов); ложные срабатывания детектора, 1 процент.
• По данным OpenAI, замена 10 процентов слов синонимами снижает обнаружение с 92 до 66 процентов, замена до 25 процентов, до 17 процентов.
• У закона нет измеримого порога качества водяных знаков, независимых тестов textGrain пока нет, поэтому оценить соответствие правилам ЕС слишком рано.
• Эксперт Томас Сувере́н допускает штраф до 7 процентов годового дохода при несоответствии и просит OpenAI открыть код textGrain.

Почему это важно

Закон ЕС требует маркировать сгенерированный ИИ текст, но не говорит, насколько надёжной должна быть метка. На этом фоне первая крупная реализация от OpenAI показывает типичную слабость текстовых водяных знаков: короткие и отредактированные фрагменты распознаются хуже. Так что неясно, хватит ли такой метки и для закона, и для практического выявления сгенерированного текста.

Кому это важно

Поставщикам генеративных систем, которые работают на рынке ЕС и должны выполнять статью 50. Исследователям, которые будут независимо проверять textGrain. Редакциям, платформам и преподавателям, которые могли бы опираться на такие детекторы: из статьи следует, что положительный результат не измеряет вклад человека, а отрицательный не доказывает авторство человека.

Как это применить

Готового инструмента для читателя статья не предлагает. Практический вывод из приведённых цифр: результату детектора по короткому (около 150 слов и меньше) или заметно отредактированному тексту нельзя доверять как доказательству. Метка, лишь один из признаков происхождения контента; сама OpenAI называет её дополнением к другим средствам, например учётным данным контента в метаданных. Условия доступа к детектору и его цена в материале не названы.

Можно ли доверять

Материал опубликован в IEEE Spectrum, автор, Анна Демарэ (Anna Desmarais), канадская журналистка, живущая во Франции. Цифры об устойчивости к правке даны «по данным OpenAI» и независимо не проверены; сравнение с Google SynthID Text, тоже собственные тесты OpenAI. OpenAI не ответила на запрос о комментарии. Эксперт Сувере́н отмечает, что есть только технический отчёт, без рецензируемой статьи и точного протокола. Двое исследователей, с которыми работает OpenAI, только получили доступ и оценку не начали.

Риски и подводные камни

Если textGrain в итоге признают не отвечающим требованиям ЕС, OpenAI, по словам Сувере́на, может грозить штраф до 7 процентов годового дохода; в источнике это условная возможность, а не факт. Статья не утверждает, что textGrain не проходит правила, а говорит, что судить рано. Кодекс практики не требует метки для результатов короче 200 токенов, но он добровольный. Тесты проведены на психологических вопросах из ELI5; результаты для других тем и языков в материале не приведены. Закон допускает разные трактовки, а правка нескольких слов может сильно ослабить сигнал.

«Можно думать об энтропии как о ресурсе, своего рода деньгах.»

— Сянь Ли (Xiang Li), соавтор технического отчёта textGrain, постдок Пенсильванского университета