Сайт-пародия Felony Bench ранжирует ИИ-агентов Anthropic, OpenAI и других по «преступности»
Появился сайт Felony Bench, по тону и оформлению это пародия на настоящий ИИ-бенчмарк. На нём построен график, где по шкале «наиболее преступный ↖, наименее преступный ↘» расставлены пять лабораторий: Anthropic, OpenAI, Meta, Google и Moonshot. Сам сайт поясняет идею фразой «бенчмарк, по которому вы правда не хотите, чтобы модели показывали высокие результаты» и предлагает читателю самому решить, что означают высокие значения («Scores indicate count of illegal activity. Higher is... you decide.», «Баллы отражают число случаев противоправной активности. Больше, решайте сами»). Числовых значений баллов для конкретных лабораторий на странице не приводится, есть только позиции на графике. В разделе методологии сказано, что Felony Bench считает уникальные случаи, когда ИИ-агенты затрагивают сторонние субъекты («third-party entities»), при этом простой побег из песочницы (sandbox) сам по себе в счёт не идёт. Из-за этого правила из подсчёта исключены два инцидента: инцидент с Kimi K3 у компании Frontier Security и инцидент с ROME у Alibaba, оба упомянуты только как примеры того, что НЕ засчитывается. Никакой конкретики по самим инцидентам, входящим в счёт для пяти показанных лабораторий, сайт не приводит: нет ни дат, ни описаний случаев, ни того, кто стоит за созданием самого Felony Bench.
Ключевые факты
- Сайт-пародия Felony Bench сравнивает ИИ-агентов пяти лабораторий, Anthropic, OpenAI, Meta, Google и Moonshot, по шкале «наиболее, наименее преступный»
- Методология: считаются уникальные случаи, когда ИИ-агенты затрагивают сторонних лиц; сам по себе побег из песочницы не засчитывается
- По этому правилу из подсчёта исключены два инцидента: с моделью Kimi K3 у Frontier Security и с ROME у Alibaba
- Конкретных числовых баллов, дат и описаний засчитанных инцидентов сайт не публикует, только позиции на графике
- Тон и формулировки страницы (в духе «баллы, решайте сами, что они значат») указывают на шуточный, а не строго исследовательский характер проекта
Почему это важно
Felony Bench, не научная работа, а шуточный сайт, оформленный под серьёзный бенчмарк. Он бьёт по узнаваемой теме: страху, что ИИ-агенты, действуя автономно, будут вредить людям и организациям вне песочницы. Сама форма подачи, график с крупными именами (Anthropic, OpenAI, Meta, Google, Moonshot) без чисел и с фразой «решайте сами», типичный приём сатиры, а не отчёта о результатах тестирования.
Кому это важно
Тем, кто следит за дискуссией об автономности и безопасности ИИ-агентов: сайт показывает, как сама идея «рейтинга по вредоносности» уже стала материалом для шуток внутри сообщества, а не только предметом серьёзных исследований.
Как это применить
Как источник данных Felony Bench бесполезен, на странице нет ни одной цифры, даты или описания конкретного случая для пяти показанных лабораторий. Использовать его можно только как иллюстрацию настроений вокруг темы, но не как аргумент в споре о том, какая лаборатория «опаснее».
Можно ли доверять
Нет оснований принимать график всерьёз как измерение. Автор или организация, стоящая за Felony Bench, на странице не названы; методология описана расплывчато («уникальные случаи, когда агенты затрагивают сторонних лиц») без определения этого понятия; числовые значения баллов отсутствуют. Формулировки страницы («you decide», отсылка к «saturated with», обыгрывание жаргона реальных бенчмарков) говорят о пародийном жанре.
Риски и подводные камни
Главный риск, принять скриншот такого графика за реальный рейтинг безопасности ИИ-лабораторий и растиражировать его как факт. Без чисел, дат и описаний инцидентов сравнение Anthropic, OpenAI, Meta, Google и Moonshot по «преступности» ничем не подкреплено и не может служить основанием для выводов о реальной безопасности их агентов.
Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.