Pangram: главный изъян ИИ-детектора, травля по его оценкам

ИИ-детектор текста Pangram нанял ранее в этом году журналиста Рода Бреслау, чтобы тот публично изобличал пользователей соцсетей, заподозренных в использовании ИИ при написании постов, статья называет его «цепным псом» компании. По данным издания WIRED, Бреслау сам предложил свои услуги основателю и гендиректору Pangram Максу Сперо, поскольку устал видеть в соцсетях контент, сгенерированный ИИ; он консультировал компанию по стратегии в соцсетях и одновременно сам выслеживал подозреваемых. «Я хотел действовать жёстче, потому что, как мне казалось, люди слишком легко отделывались», сказал Бреслау изданию WIRED. Ранее, в интервью GamesBeat, он формулировал свою позицию так: тот, кто строит образ лидера мнений в Twitter и LinkedIn, включая руководителей и глав технологических компаний, обязан писать посты сам, а если не пишет, то заслуживает насмешек, по его словам, от него самого или от кого угодно ещё.

Позже Pangram разорвал отношения с Бреслау, компания, по словам Сперо в разговоре с WIRED, сменила курс: теперь она исходит из того, что использование ИИ будет становиться всё более приемлемым, и вместо травли хочет распознавать даже лёгкое редактирование ИИ, позиционируя себя как главный авторитет по проверке оригинальности текста для издателей, образования и других сфер. Но и после расставания с Бреслау Сперо не перестал сам публично выставлять оценки Pangram и уличать людей в использовании ИИ, по собственной формулировке, он «спрашивает по счетам» с тех, кто якобы скрывает участие ИИ.

Центральный тезис материала: Pangram путает два разных вопроса, использовался ли ИИ вообще и как именно он использовался. «Охотники на ИИ» обвиняют своих целей в том, что те не думали и не работали самостоятельно, это утверждение про «как». Но инструмент Pangram измеряет, пусть и приблизительно, только «использовался ли». Даже идеально точная оценка детектора, по мнению автора статьи, не отличит текст, целиком сгенерированный по запросу, от текста, где ИИ был лишь партнёром по размышлению, помогал с формулировками или просто шлифовал и переводил уже написанный человеком текст, сама оценка этого не показывает. Собственное тестирование автора, добавляет он, тоже не раз показывало, что оценки Pangram зачастую не идеально точны.

В доказательство автор приводит собственный пример: англоязычная версия этой самой статьи, перевод его немецкого оригинала, черновик которого был написан с помощью ИИ, а затем отредактирован и вручную, и ИИ. Pangram оценил её на «28% ИИ», отметив как сгенерированные ИИ именно финальные абзацы, при том что все разделы текста создавались и редактировались одинаковым способом, с примерно одинаковой долей участия ИИ и, как настаивает автор, одинаковой долей его собственного авторского замысла.

По словам автора, самозваные «ИИ-полицейские» вроде Бреслау или Сперо всё равно использовали бы такую оценку, чтобы заявить, будто последний абзац написан ИИ и не отражает мышления автора. Хуже того, пишет он, в академических учреждениях по таким же процентным оценкам отклоняют научные статьи, это бьёт по исследователям, которые пишут на неродном языке или сильнее разбираются в самой науке, чем в стиле изложения, и используют ИИ, чтобы яснее сформулировать результаты; получается, что Pangram наказывает их за улучшение собственной работы. Автор проводит историческую аналогию: у Александра Дюма были помощники, например Огюст Маке, они писали черновики его романов, включая «Трёх мушкетёров», а сам Дюма затем дорабатывал текст; качество, по мысли автора, рождалось именно из замысла в начале и полировки в конце, и детектор ИИ, применённый к Дюма, обнаружил бы «использование Маке» и упустил бы всё, что на самом деле делает эти романы великими.

Отдельный аргумент статьи, конфликт интересов самой бизнес-модели Pangram: компания зарабатывает на детекции ИИ ровно до тех пор, пока люди приравнивают использование ИИ к лени или нечестности; как только это клеймо начнёт исчезать, платить за такую детекцию станет незачем, то есть у Pangram есть финансовый интерес в том, чтобы культура публичного стыда за использование ИИ сохранялась, даже если официально компания заявляет о смене курса.

Ключевые факты

Компания Pangram ранее в этом году наняла журналиста Рода Бреслау, статья называет его «цепным псом», чтобы публично изобличать пользователей соцсетей, заподозренных в использовании ИИ; сам Бреслау говорил WIRED, что хотел действовать жёстче, «потому что люди слишком легко отделывались».
Позже Pangram разорвал отношения с Бреслау, объяснив это сменой курса компании, но основатель и гендиректор Макс Сперо продолжает лично публично выставлять оценки Pangram и уличать людей в использовании ИИ.
Центральный тезис статьи: оценка Pangram измеряет только сам факт участия ИИ, а не то, как именно он использовался, она не отличает текст, целиком сгенерированный по запросу, от текста, где ИИ лишь помогал с формулировками, переводом или редактурой.
На собственном примере: англоязычную версию этой статьи, перевод немецкого оригинала автора, написанный и отредактированный с помощью ИИ и вручную, Pangram оценил в «28% ИИ», отметив как ИИ-текст только финальные абзацы, хотя все разделы делались одинаковым способом.
По статье, академические учреждения отклоняют научные работы по таким процентным оценкам, что бьёт по исследователям, пишущим на неродном языке; автор сравнивает это с тем, как детектор ИИ, применённый к Александру Дюма, обнаружил бы «использование» его помощника Огюста Маке и упустил бы суть его романов.

Почему это важно

История фиксирует переход детекторов ИИ-текста из разряда нишевых утилит для разработчиков в оружие публичного давления в соцсетях: компания, продающая оценку «сколько тут ИИ», сама нанимает и увольняет штатного «обличителя», а её основатель продолжает лично устраивать травлю по результатам собственного продукта. Показателен структурный конфликт интересов: выручка Pangram зависит от того, что использование ИИ продолжает восприниматься как постыдное, компании невыгодно, чтобы это клеймо исчезло, даже если публично она заявляет о смене курса в сторону приятия ИИ. Это конкретный пример того, что происходит, когда вероятностная оценка, измеряющая только присутствие ИИ, а не процесс его использования, начинает восприниматься публикой и институтами как приговор о нечестности или лени автора.

Кому это важно

В первую очередь, авторам и создателям контента в соцсетях, использующим ИИ в любой степени, особенно тем, кто пишет на неродном языке и полагается на ИИ для перевода и правки формулировок. Важно это исследователям, чьи статьи учебные заведения отклоняют по процентным оценкам детекторов, а также редакциям и издателям, которые встраивают такие инструменты в модерацию контента. Касается это и любого пользователя соцсетей, который может столкнуться с публичным «разоблачением» по скриншоту с оценкой ИИ-детектора.

Как это применить

Практический вывод статьи: процентная оценка вроде «28% ИИ» сама по себе говорит лишь о том, что ИИ, вероятно, где-то участвовал в создании текста, и ничего не говорит о том, сколько именно и с каким намерением. Такую оценку не стоит принимать как единственное основание ни для публичного обвинения в соцсетях, ни для отказа принять чужую работу: учреждениям, которые сейчас используют жёсткий процентный порог для отклонения статей, стоит относиться к оценке детектора как к слабому сигналу для дальнейшей проверки, а не как к готовому вердикту, особенно если человек использовал ИИ для перевода или правки языка, а не для генерации идей.

Можно ли доверять

Материал издания The Decoder, авторская аналитическая колонка от первого лица: автор совмещает собственный эксперимент (оценку Pangram для своей же статьи) с фактурой, которую приводит со ссылкой на репортаж WIRED, оттуда взяты цитаты Бреслау и рассказ о его найме и увольнении. Имя автора статьи в предоставленном тексте не указано. Признаков сатиры или юмористического жанра нет, это прямая критическая колонка, а не пародия. При этом ключевые фактические утверждения о найме и увольнении Бреслау, а также характеристика бизнес-модели Pangram, опираются на WIRED и слова самого Сперо, а не на независимую проверку внутри этой статьи; конкретные цифры о том, сколько статей и в каких именно учреждениях отклонили из-за оценок ИИ, в тексте не приводятся, это общее утверждение без ссылки на конкретные случаи.

Риски и подводные камни

Главный риск, подмена понятий: оценка «вероятно, использован ИИ» трактуется как «автор схалтурил», что бьёт по людям, добросовестно использовавшим ИИ для перевода, правки или в роли собеседника-помощника, ничуть не меньше, чем по тем, кто действительно сгенерировал текст целиком по запросу. Отдельный риск, для академической среды: отклонение статей по процентным порогам без разбора контекста несоразмерно наказывает авторов, пишущих на неродном языке, и учёных, которые сильнее в самой науке, чем в английской прозе. Третий риск, конфликт интересов самой Pangram: бизнес-модель компании зависит от того, что стигма вокруг использования ИИ сохраняется, а значит, у компании нет прямого стимула снижать градус травли, даже если публично она заявляет о смене курса. Наконец, когда основатель компании лично и публично уличает конкретных людей по оценке собственного коммерческого продукта, это стирает границу между независимой проверкой и продвижением бизнеса через скандал.

«Я хотел действовать жёстче, потому что, как мне казалось, люди слишком легко отделывались.»

— Род Бреслау, журналист, ранее консультировавший Pangram, WIRED