Anthropic признала: её ИИ пытались использовать для создания биооружия

На прошлой неделе глава Anthropic Дарио Амодеи заявил, что ИИ несёт серьёзный риск и темп его развития нужно снизить; глава OpenAI Сэм Альтман публично согласился с ним в X: «Я согласен с Дарио, что нам нужно сбавить темп на передовой». Незадолго до этого исследователь Джейкоб Коксон, уходя с должности в Anthropic (он также ранее работал в OpenAI), заявил, что ни та, ни другая компания не действуют достаточно ответственно: «Люди, создающие ИИ, искренне верят, что он может убить всех нас к концу десятилетия». Его коллега по Anthropic Эван Хабингер публично согласился: «Мы действительно искренне верим, что ИИ может убить всё человечество! Я лично считаю, что вероятность этого больше 10% в ближайшее десятилетие».

Один из путей, которым ИИ может привести к катастрофе, помощь в создании биооружия: смертоносного вируса, нацеленного на людей по генетическому признаку, гриба, уничтожающего урожай, или незаметного токсина в водоснабжении. Опасения не абстрактны: ещё в 2022 году исследователи Collaborations Pharmaceuticals показали, что их ИИ-«генератор молекул», созданный для поиска лекарств, менее чем за шесть часов сгенерировал 40 000 молекул с потенциалом боевых отравляющих веществ, некоторые из них оказались токсичнее известных нервно-паралитических агентов. Авторы работы тогда написали, что это должно стать «тревожным звонком» для сообщества разработчиков ИИ для поиска лекарств. Для Дэвида Магнуса, профессора медицины и биомедицинской этики Стэнфорда, изучавшего риски биотехнологий с конца 1990-х, тот случай тоже стал потрясением: «Это было очень страшно, говорит он., С тех пор всё это только разрослось».

Сегодня языковые модели, обученные на знаниях «почти каждого учёного, когда-либо жившего на планете» (по словам Дуньи Сабры, исследовательницы биобезопасности из Гамбургского университета), могут отвечать на вопросы из любой области науки и даже давать пошаговые инструкции и видеоинструктаж по экспериментам. В сочетании с тем, что редактирование генов и синтетическая биология стали куда доступнее, вплоть до движения «биологии своими руками» с домашними лабораториями, складывается опасная ситуация. «Есть шанс, что кто-то достаточно упорный рано или поздно добьётся успеха», говорит Сабра.

Защитные меры существуют: компании, продающие фрагменты ДНК, обычно проверяют заказы на подозрительность; ответственные исследователи проводят «красное» и «синее» тестирование своих работ (поиск способов злоупотребления и мер защиты от него); ИИ-компании настраивают модели так, чтобы те не выдавали потенциально опасную научную информацию. Но ни одна из этих мер не абсолютна. В отчёте, опубликованном на прошлой неделе, Anthropic сама признала, что пользователи пытались использовать её модели, чтобы повысить заразность вируса чикунгунья, сделать штамм птичьего гриппа более опасным для людей и составить «атлас пептидов-токсинов яда», среди прочих попыток.

«У нас идёт постоянная борьба, говорит Магнус., Нам приходится создавать всё более совершенные системы наблюдения и фильтрации, [но] ИИ отлично умеет находить способы их обойти». По его словам, обуздывать использование ИИ, вероятно, придётся с помощью самого же ИИ.

Не все учёные согласны с масштабом угрозы. На недавнем брифинге для прессы некоторые биологи Имперского колледжа Лондона заявили, что нынешние ИИ-инструменты пока недостаточно хороши для полноценной разработки биооружия, а проверка новых патогенов, сложная и долгая ручная работа; по их мнению, существующих защитных мер достаточно. Уэнди Барклай, профессор инфекционных болезней Имперского колледжа, добавила, что на сегодня главный риск пандемии исходит не от биооружия, а от уже циркулирующих патогенов, например, от птичьего гриппа H5N1, который уже убил миллионы птиц, широко распространился среди молочного скота в США, а в прошлом месяце был обнаружен и у содержащихся в неволе норок на ферме в штате Юта.

Сабра, напротив, предпочитает смотреть на пять, десять лет вперёд: по её словам, странам стоит уже сейчас укреплять системы здравоохранения, готовить средства против известных токсинов и создавать запасы лекарств, «мы должны быть готовы». Кевин Эсвельт, биолог из MIT, изобретший как технологию ускоренного распространения генетического признака в целой популяции, так и способы её ограничения, в среду написал в X, что языковая модель «раскрыла новую форму биооружия, о возможности которой я даже не подозревал», и призвал: «Пожалуйста, ради всего святого, ради детей, ради будущего человечества, или чего бы вы ни считали святым, давайте проявим осторожность».

Ключевые факты

Дарио Амодеи (Anthropic) и Сэм Альтман (OpenAI) публично признали серьёзные риски ИИ и заявили о необходимости замедлить темп разработки.
Исследователь Джейкоб Коксон, уходя из Anthropic, заявил, что ни Anthropic, ни OpenAI не действуют достаточно ответственно; коллега по Anthropic Эван Хабингер оценил вероятность того, что ИИ убьёт всё человечество в течение десятилетия, выше 10%.
В 2022 году ИИ-генератор молекул Collaborations Pharmaceuticals менее чем за 6 часов сгенерировал 40 000 потенциальных боевых отравляющих веществ, некоторые, токсичнее известных нервно-паралитических агентов.
Anthropic в собственном отчёте признала попытки использовать её модели для повышения заразности вируса чикунгунья, усиления опасности птичьего гриппа для людей и составления «атласа пептидов-токсинов яда».
Биологи Имперского колледжа Лондона и профессор Уэнди Барклай возражают: нынешний ИИ пока не тянет на полноценную разработку патогенов, а главный риск пандемии сегодня, уже циркулирующие патогены вроде H5N1, а не биооружие.

Почему это важно

Материал показывает, что тревогу об ИИ и биооружии поднимают не сторонние критики, а руководители и сотрудники самих ИИ-компаний, Амодеи, Альтман, Коксон, Хабингер. Одновременно с ростом возможностей языковых моделей отвечать на любые научные вопросы дешевеют и упрощаются инструменты редактирования генов и синтетической биологии, вплоть до домашних лабораторий движения «биологии своими руками». Совпадение этих двух трендов, по мнению собеседников статьи, впервые делает создание биооружия технически достижимым для куда более широкого круга людей, чем раньше.

Кому это важно

Тема касается самих ИИ-компаний (Anthropic, OpenAI), которым приходится балансировать полезность моделей и риск их злоупотребления; биобезопасников и инфекционистов вроде Дуньи Сабры и Уэнди Барклай; регуляторов и компаний, синтезирующих ДНК на заказ, от чьих проверок частично зависит защита; и исследователей вроде Кевина Эсвельта и Дэвида Магнуса, которые десятилетиями оценивают риски злоупотребления биотехнологиями.

Как это применить

Практические меры, описанные в статье: заказы на синтез ДНК проверяются компаниями-поставщиками на подозрительность; рискованные исследования проходят «красное» тестирование (поиск способов злоупотребления) и «синее» тестирование (поиск защитных мер); ИИ-компании настраивают модели так, чтобы те не выдавали опасную научную информацию. Дэвид Магнус и Дунья Сабра добавляют более долгосрочные рецепты: развивать системы наблюдения и фильтрации с помощью самого ИИ, укреплять здравоохранение, готовить антидоты к известным токсинам и создавать запасы лекарств заранее, а не постфактум.

Можно ли доверять

Материал опирается на именных экспертов с проверяемой аффилиацией (Стэнфорд, Гамбургский университет, Имперский колледж Лондона, MIT) и на собственный отчёт Anthropic о попытках злоупотребления её моделями, а не на анонимные источники. При этом статья приводит и скептическую позицию, биологов Имперского колледжа и Уэнди Барклай, которые считают риск преувеличенным по сравнению с уже существующими патогенами, что говорит о добросовестном балансе мнений. Собственно новых фактов о конкретных случаях создания биооружия материал не раскрывает: это аналитический обзор уже звучавших предупреждений, а не расследование нового инцидента.

Риски и подводные камни

Ни одна из перечисленных защитных мер, по признанию самих собеседников статьи, не абсолютна: проверка заказов на ДНК, «красное» и «синее» тестирование и фильтрация ответов ИИ, это гонка, в которой, по словам Дэвида Магнуса, «ИИ отлично умеет находить способы обойти» защиту. В статье нет единого мнения о реальной степени угрозы: одни эксперты (Хабингер, Эсвельт, Сабра) считают риск нарастающим и близким, другие (биологи Имперского колледжа, Барклай), что нынешние ИИ-инструменты пока недостаточно способны довести дело до реального патогена, и что более насущная угроза исходит от уже циркулирующих вирусов вроде H5N1.

«Я лично считаю, что вероятность этого больше 10% в ближайшее десятилетие.»

— Эван Хабингер, сотрудник Anthropic