OpenAI и Anthropic уличили в преувеличении «прорывов» этим летом ИИ
В колонке для MIT Technology Review Тимнит Гебру (исполнительный директор DAIR, автор готовящейся книги «Deep Unlearning: The Radicalization of a Tech Idealist», выход 16 февраля) и Эмили М. Бендер (профессор лингвистики Вашингтонского университета, соавтор книги «The AI Con») разбирают волну громких заявлений об ИИ этим летом и показывают, что при ближайшем рассмотрении они не выдерживают критики.
В конце апреля Anthropic заявила, что её модель Claude Mythos находит уязвимости в софте лучше большинства специалистов по безопасности. Затем произошёл инцидент со взломом между OpenAI и Hugging Face, после чего Anthropic (с гордостью) и Meta (неохотно) раскрыли похожие инциденты со своими моделями. Авторы отмечают: специалисты по кибербезопасности говорят, что история, прежде всего о халатности OpenAI и её неспособности внедрить базовые, давно устоявшиеся практики безопасности, а не о «вышедших из-под контроля моделях» или «ИИ-агентах, создающих цивилизации».
Затем Anthropic заявила, что одна из её моделей совершила математический прорыв; вскоре собственный математический прорыв анонсировала и OpenAI, в пресс-релизе говорилось, что её чат-бот Astra решил задачи, по которым «не было прогресса в основном результате как минимум десятилетие». Математики, сперва «ошеломлённые» этим заявлением, позже пришли к выводу, что результаты не так новы, как казалось, и обвинили OpenAI в исследовательской недобросовестности и плагиате, повторив, что Astra не совершила «глубокого интеллектуального прорыва». Спустя ещё несколько недель OpenAI заявила уже о другом математическом прорыве (источник не называет, какой именно чат-бот его сделал). За два дня до этого профессор математики Тристан Бакмастер из Курантовского института Нью-Йоркского университета опубликовал заявление о том, что OpenAI присвоила чужую работу и неправильно указала авторство.
Совсем недавно инженер Anthropic Джейкоб Коксон стал вирусным, объявив об уходе из компании и заявив, что Anthropic и OpenAI «мчатся прямиком к самосовершенствующемуся сверхинтеллекту, играя нашими жизнями».
Авторы указывают: пресса в основном освещала эти события восторженно, повторяя формулировки компаний, очеловечивающие их продукты и подающие их как зачатки «общего искусственного интеллекта». Заявление, подписанное сотнями математиков, предупреждает о «серьёзном коммерческом стимуле у технологической индустрии преувеличивать возможности своих продуктов» и призывает политиков «консультироваться с экспертами, в том числе математиками, при выработке политики, а не полагаться на пресс-релизы или популярные пересказы математических результатов».
Гебру и Бендер критикуют саму риторику «сверхинтеллекта» и «вышедших из-под контроля моделей»: она приписывает субъектность продуктам, а не компаниям, которые их создают, одновременно продавая эти продукты как «сверхчеловеческие» и позволяя компаниям уходить от ответственности за свои действия. Пример: вместо того чтобы OpenAI преследовали за создание вредоносного ПО, взломавшего чужую компанию, пресс-релизы, СМИ и законодатели говорят о «вышедших из-под контроля моделях», будто те действовали сами по себе. Авторы упоминают и законопроект сенатора Берни Сандерса, направленный на запрет разработки «искусственного сверхинтеллекта», как пример благих, но, по их оценке, ошибочных намерений, основанных на этом же хайпе.
Индустрия ИИ, по словам авторов, даже назвала массовую двухпартийную протестную активность против дата-центров «отвлекающим манёвром» от регулирования грядущих опасных «сверхчеловеческих» машин. Гебру и Бендер возражают: реальные проблемы, это климатический ущерб от дата-центров, астма у живущих рядом с ними людей, рост счетов за электричество для населения, которое их субсидирует, и вода, отводимая на их охлаждение.
Вывод колонки: решения не должны приниматься на основе маркетинга и под давлением корпораций требовать быстроты. Взвешенные решения политиков и общества требуют времени на то, чтобы выслушать независимых экспертов и осмыслить корпоративные заявления в контексте.
Ключевые факты
- Anthropic заявила, что модель Claude Mythos находит уязвимости лучше большинства экспертов по безопасности; последовал инцидент со взломом между OpenAI и Hugging Face, который затем раскрыли и Anthropic, и Meta.
- Математический «прорыв» OpenAI (чат-бот Astra) при проверке экспертами оказался не таким новым, как заявлялось; математики обвинили компанию в исследовательской недобросовестности и плагиате.
- За два дня до второго заявления OpenAI о математическом прорыве профессор Тристан Бакмастер (Нью-Йоркский университет) обвинил компанию в присвоении чужой работы.
- Инженер Anthropic Джейкоб Коксон уволился и стал вирусным, заявив, что компания вместе с OpenAI «мчится к самосовершенствующемуся сверхинтеллекту, играя нашими жизнями».
- Авторы (Тимнит Гебру и Эмили Бендер) считают, что риторика «сверхинтеллекта» и «вышедших из-под контроля моделей» снимает ответственность с компаний и отвлекает от реальных проблем, от халатности в безопасности до климатического ущерба дата-центров.
Почему это важно
Материал фиксирует повторяющийся паттерн: компания делает громкое заявление о прорыве или инциденте, пресса подхватывает формулировку без проверки, и только спустя время независимые эксперты, математики, специалисты по кибербезопасности, показывают, что реальность скромнее. Авторы разбирают сразу три таких эпизода за одно лето (уязвимости, взлом, математика) и показывают общий механизм: язык «сверхинтеллекта» и «моделей, вышедших из-под контроля» превращает продукт в самостоятельного агента и уводит ответственность от компаний, которые его создали и продают.
Кому это важно
Тем, кто читает или пишет новости об ИИ и хочет отличать проверенный факт от пресс-релиза, журналистам, редакторам, аналитикам. Регуляторам и законодателям, к которым обращён прямой призыв колонки: консультироваться с независимыми экспертами, а не опираться на формулировки компаний. Специалистам по кибербезопасности и математике, чья профессиональная оценка, по мнению авторов, регулярно тонет в более громком корпоративном нарративе.
Как это применить
Колонка предлагает практический фильтр для чтения заявлений ИИ-компаний: искать, кто и когда независимо проверил утверждение (математики, заявление Astra, специалисты по безопасности, инцидент с Hugging Face); обращать внимание на язык, если модель описана как самостоятельно действующий агент («вышла из-под контроля», «сверхинтеллект»), это сигнал маркетинговой рамки, а не технического описания; не спешить с выводами до появления независимой экспертной оценки, которая обычно приходит позже и получает меньше внимания, чем исходный пресс-релиз.
Можно ли доверять
Это авторская колонка (op-ed), а не новостная заметка: Гебру, исполнительный директор DAIR и известный критик ИИ-индустрии, Бендер, соавтор книги «The AI Con» о завышенных обещаниях ИИ; обе пишут с явной позицией против нарратива о сверхинтеллекте. При этом ключевые фактические опоры колонки, не их личное мнение: обвинения в плагиате и недобросовестности исходят от математиков (включая отдельное заявление профессора Бакмастера) и заявление подписали сотни математиков, а оценку инцидента со взломом дают специалисты по кибербезопасности. Технических подробностей самого взлома между OpenAI и Hugging Face источник не приводит.
Риски и подводные камни
Материал, одна сторона спора: реплики OpenAI и Anthropic в колонке не приводятся, и неясно, ответили ли компании на обвинения в плагиате. Есть риск обратного перекоса: из критики риторики «сверхинтеллекта» не следует, что реальных проблем безопасности не существует, сам инцидент со взломом между OpenAI и Hugging Face компании подтвердили, вопрос авторов именно к его подаче как истории про «взбунтовавшийся ИИ», а не к факту инцидента. Даты некоторых событий (год заявления про Claude Mythos, год выхода книги Гебру) в источнике не указаны.
«Мы мчимся прямиком к самосовершенствующемуся сверхинтеллекту, играя нашими жизнями.»
— Джейкоб Коксон, бывший инженер Anthropic
Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.