Anthropic предупредила об ИИ-биооружии, учёные считают риск переоценённым

Опасения по поводу того, что ИИ может привести к катастрофе через создание биологического оружия, усилились этим летом: сначала главы ИИ-компаний призвали к новым законам о контроле над производством синтетической ДНК, затем исследователи Стэнфордского университета и Института Arc показали, что ИИ способен спроектировать новые вирусные геномы. Градус дискуссии поднялся после того, как компания Anthropic опубликовала отчёт о попытках использовать её модель Claude способом, который «мог бы поддержать разработку биологического оружия», авторы отчёта назвали это «одним из самых серьёзных рисков передовых моделей ИИ». Вскоре после этого глава Anthropic Дарио Амодеи призвал власти помочь ИИ-лабораториям «удерживать темп на передовой».

Издание Wired опросило нескольких учёных и специалистов, и большинство из них оценивают этот риск как сравнительно невысокий на фоне прочих мировых угроз.

Дэвид Беллами, научный сотрудник Institute of Foundation Models в Саннивейле (Калифорния), не считает ИИ принципиально новой угрозой в производстве биооружия: доступ к опасной биологической информации упрощали ещё интернет, открытые научные журналы и сервисы вроде Google Translate. По его словам, ИИ, инструмент, который одинаково помогает быстрее находить и уточнять протоколы и добросовестным учёным, и злоумышленникам, но «эти возможности не являются узким местом в производстве биооружия». Настоящее узкое место, считает Беллами, сборка самого вируса или иного биологического агента: нужно получить фрагменты генов, собрать из них целый геном, а затем проверить, что вирус заражает людей, вызывает нужную болезнь и передаётся от человека к человеку; роботизированные лабораторные ассистенты могут ускорить часть операций, но нужный опыт и ресурсы по-прежнему требуют человека.

Джейсон Келли, глава биотех-стартапа Ginkgo Bioworks, компания недавно проводила с OpenAI проект, где лабораторией управляла модель GPT-5, считает маловероятным, что общий искусственный интеллект (AGI) сможет захватить контроль над существующими патогенами и распространить их, не говоря уже о создании и применении новых. По его словам, «ИИ не смог взять лабораторию под контроль»: сотрудники внутри просто отказывались бы выдавать боту вещества и оборудование для физического производства биооружия, а значит для AGI понадобилось бы «значительно больше роботов повсюду».

Иммунолог Дерья Унутмаз согласен, что люди способны сорвать любые попытки AGI разработать смертельную болезнь, а даже если сверхразумный ИИ каким-то образом выпустит супервирус, учёные смогут использовать другие ИИ-системы, чтобы быстро разработать вакцину.

Не все настроены так спокойно. Оливия Шарфман, сотрудница аналитического центра Institute for Progress по направлению биотехнологий, говорит, что «сегодня ИИ не может получить доступ к полностью автономной лаборатории и самостоятельно создать вирус, потому что полностью автономных лабораторий пока не существует», но допускает, что «ИИ мог бы заплатить кому-то, чтобы это сделали за него». Она считает ИИ-содействие биотерроризму непосредственной угрозой и указывает на существование маргинальных групп, например, «трансгуманистов-сукцессионистов» (transhumanist AI successionists), которые надеются заменить людей роботами и могут пойти на такое из нигилистических побуждений.

Другие эксперты сомневаются в самой логике биологической войны. Генетик и профессор вычислительной биологии Франсуа Беллу сказал Wired, что риски «зачастую понимают превратно», а ценность патогенов как оружия склонны переоценивать: биооружие, не самый привлекательный выбор для того, кто хочет массовых жертв, потому что трудно поразить одни группы людей, пощадив другие, а массовое производство и распространение патогенов логистически гораздо сложнее, чем, скажем, применение бомбы. «Если вы хотите убивать людей, есть намного, намного, намного более простые способы это сделать, чем пытаться сконструировать вирус или бактерию и затем выпустить их», говорит он, и это верно что для самого изощрённого искусственного разума, что для обычного человека.

При этом Шарфман считает нынешний момент подходящим, чтобы усилить защиту от биологических угроз в целом, включая уже существующие патогены вроде H1N1: от законодательного усиления протоколов безопасности в технологиях синтеза ДНК до модернизации систем очистки воздуха в зданиях. Стеф Герра, руководитель направления ИИ и биобезопасности в аналитическом центре RAND Corporation, говорит, что однозначно ответить, повышает ли ИИ риск создания биооружия, сложно: «ИИ показал себя очень эффективным в том, чтобы сводить информацию воедино и мотивировать людей, как на хорошие, так и на плохие поступки». По её словам, снизить риск можно и без ответа на этот вопрос: например, обязав законом компании, продающие синтетические ДНК и РНК, проверять клиентов и заказы, чтобы предотвратить использование генетического материала не по назначению (часть компаний уже применяет для этого программы проверки на «последовательности, вызывающие опасения», но практика не универсальна и не обязательна). Герра также призывает укреплять защитные механизмы моделей, чтобы те не выдавали пользователям опасную и пригодную для немедленного применения информацию, усиливать глобальные системы наблюдения за вспышками новых болезней и как можно раньше делиться данными о циркулирующих патогенах между ИИ-компаниями, поставщиками синтеза генов и государством. «Практически любой контроль биобезопасности можно в той или иной мере обойти, говорит она., Поэтому нужны многослойные меры защиты на всём пути, от замысла и намерения злоумышленника до самого выпуска биооружия».

Унутмаз добавляет, что его больше беспокоит другое: разговоры о «ИИ-апокалипсисе» отвлекают внимание от того, как передовые системы могут помогать людям в разработке вакцин и других медицинских прорывах. «Нам действительно нужно сосредоточиться на позитивной стороне этого», говорит он.

Ключевые факты

• Anthropic сообщила о попытках использовать Claude для содействия разработке биооружия и назвала это одним из самых серьёзных рисков передовых моделей; глава компании Дарио Амодеи призвал власти помочь лабораториям «удерживать темп на передовой».
• Большинство опрошенных Wired экспертов (Беллами, Келли, Унутмаз, Беллу) считают, что ИИ не снимает реального узкого места создания биооружия, сборку и проверку патогена, а не доступ к информации.
• Джейсон Келли (Ginkgo Bioworks) рассказал, что в совместном проекте с OpenAI модель GPT-5 управляла лабораторией, но не смогла взять её под контроль, сотрудники-люди отказывались выполнять опасные запросы.
• Часть экспертов (Шарфман, Герра) считают ИИ-содействие биотерроризму со стороны злоумышленников более близкой угрозой и предлагают конкретные меры: обязательную проверку заказов на синтетическую ДНК/РНК и усиление глобального эпиднадзора.
• Иммунолог Унутмаз считает, что тревога вокруг «ИИ-апокалипсиса» отвлекает от пользы ИИ для медицины, например, для разработки вакцин.

Почему это важно

Материал уравновешивает алармистскую повестку вокруг ИИ и биооружия, которую задали отчёт Anthropic о попытках использовать Claude для содействия разработке биооружия и призыв Дарио Амодеи не сбавлять темп в развитии моделей. Опрошенные Wired учёные и специалисты по биобезопасности указывают, что реальный барьер для создания биооружия, не доступ к информации, который даёт ИИ, а физическая сборка, проверка и распространение патогена, где ИИ мало что меняет.

Кому это важно

Регуляторам и законодателям, которые формируют политику вокруг ИИ-безопасности и синтеза ДНК/РНК; самим ИИ-лабораториям, чьи заявления о рисках (как у Anthropic) задают публичную повестку; биотех-компаниям вроде Ginkgo Bioworks, экспериментирующим с автономными лабораториями; журналистам и читателям, которые формируют мнение об ИИ-рисках на основе алармистских заголовков.

Как это применить

Конкретные меры, которые называют эксперты в материале: обязать законом компании, продающие синтетические ДНК и РНК, проверять заказы на «последовательности, вызывающие опасения» (сейчас практика не универсальна и не обязательна); встраивать в модели защитные механизмы против выдачи пригодной для немедленного применения опасной информации; усиливать глобальный эпиднадзор за вспышками болезней и налаживать обмен данными о патогенах между ИИ-компаниями, поставщиками синтеза генов и государством; модернизировать системы очистки воздуха в зданиях как общую защиту от биологических угроз, не только связанных с ИИ.

Можно ли доверять

Материал Wired собирает мнения семи именованных экспертов из разных лагерей (исследовательских институтов, биотех-индустрии, аналитических центров) с прямыми цитатами, а не пересказывает один источник. Большинство сходится в оценке риска как невысокого, но расхождение с частью экспертов (Шарфман) показано открыто, без сглаживания. Конкретных дат публикаций отчёта Anthropic и исследования Стэнфорда/Arc Institute в тексте нет, только относительные маркеры «этим летом», «в прошлом месяце», «на прошлой неделе».

Риски и подводные камни

Оценка риска в материале расходится: пока одни эксперты называют его низким по сравнению с прочими мировыми угрозами, Оливия Шарфман прямо называет ИИ-содействие биотерроризму непосредственной угрозой и указывает на существование маргинальных идеологических групп, готовых к таким действиям. Кроме того, в статье не описано ни одного реализованного случая создания или применения ИИ-биооружия, все сценарии гипотетические, а сама тема (ИИ ускоряет доступ к информации, но не устраняет физические барьеры) остаётся предметом спора внутри экспертного сообщества, а не установленным фактом.

«Если вы хотите убивать людей, есть намного, намного, намного более простые способы это сделать, чем пытаться сконструировать вирус или бактерию и затем выпустить их»

— Франсуа Беллу, генетик и профессор вычислительной биологии