Palisade Research опубликовала видеоинтервью с исследователями ИИ о риске вымирания
Palisade Research, которая называет себя некоммерческой организацией, изучающей возможности и мотивацию ИИ, собрала и запустила на сайте frominside.ai серию видеоинтервью с исследователями ИИ. По словам The Verge, это одно из примерно дюжины интервью с людьми, среди которых текущие и бывшие сотрудники OpenAI, Google и Anthropic. Издание отмечает, что видео перекликаются с «думерскими» предупреждениями, которые в последнее время звучали и от других.\n\nГеоффри Ирвинг, бывший сотрудник OpenAI и Google DeepMind, говорит в новом интервью: «Шанс вымирания человечества, примерно как подбросить монетку, по моему мнению». К нему присоединились и другие участники серии: по данным The Verge, несколько исследователей предупредили о возможном вымирании людей из-за ИИ. Нил Нанда, научный сотрудник Google DeepMind, оценивает вероятность вымирания как минимум в 10 процентов и называет эту цифру «нелепо высокой».\n\nБывший исследователь OpenAI Дэниел Кокотайло заявил, что сверхразумный ИИ «был бы, по сути, всемогущим, как божество», и добавил, что «к сожалению, мы вообще не знаем, как их контролировать», поэтому «вероятно, никто не смог бы их контролировать». По его словам, это «ровно настолько опасно, как звучит», и допускать такого нельзя.\n\nКаждое видео доступно целиком, а сайт ещё собирает фрагменты от разных людей на схожие темы: не является ли всё это хайпом или маркетингом и почему они работают над тем, что считают настолько опасным. Мэри Фуонг из Google говорит: «Думаю, вам действительно стоит относиться с подозрением к моим словам, потому что мне платит лаборатория». Нанда объясняет: «Если бы я не верил, что моя работа напрямую снижает эти экзистенциальные риски, я бы уволился… Эти компании не перестанут создавать такие системы только потому, что уйду я».\n\nThe Verge подчёркивает, что единого решения нет и у этих видео: ранее издание уже писало о сообществе «безопасности ИИ» и о том, как трудно определить, что этот термин значит и что кому делать.
Ключевые факты
- Palisade Research (по её описанию, некоммерческая организация) запустила на frominside.ai серию из примерно дюжины интервью с исследователями ИИ, включая текущих и бывших сотрудников OpenAI, Google и Anthropic.
- Геоффри Ирвинг, бывший сотрудник OpenAI и Google DeepMind, оценивает шанс вымирания человечества как «примерно монетку»; Нил Нанда из Google DeepMind, как минимум в 10 процентов.
- Дэниел Кокотайло, бывший исследователь OpenAI, утверждает, что сверхразумный ИИ был бы «всемогущим, как божество», а как его контролировать, неизвестно.
- Сайт отдельно собирает фрагменты на темы «не хайп ли это» и «зачем работать над тем, что считаешь опасным»; Мэри Фуонг из Google советует относиться к её словам с подозрением, так как ей платит лаборатория.
- По оценке The Verge, единого решения проблемы у этих видео нет.
Почему это важно
Предупреждения о рисках сверхразумного ИИ звучат не только от внешних критиков: здесь о них говорят люди, работающие или работавшие в OpenAI, Google DeepMind и Anthropic. The Verge пишет, что серия перекликается с «думерскими» предупреждениями, которые в последнее время слышны и от других. Новых исследовательских данных в материале нет, это личные оценки и мнения собеседников.
Кому это важно
Тем, кто следит за спорами о безопасности ИИ и политикой вокруг неё, а также читателям, которым интересно, как сами разработчики объясняют, почему продолжают работать над технологией, которую считают опасной. Каждое видео доступно целиком, есть и тематические подборки фрагментов.
Как это применить
Материалы выложены на frominside.ai: можно смотреть интервью целиком или тематические подборки, например о том, не является ли всё это хайпом или маркетингом. Практического инструмента или рекомендаций для внедрения в источнике нет.
Можно ли доверять
Оценки вероятностей, субъективные мнения конкретных людей: Ирвинг говорит «по моему мнению», Нанда называет нижнюю границу «как минимум 10 процентов». Сама Фуонг прямо говорит, что к её словам стоит относиться с подозрением, потому что ей платит лаборатория. Организатор серии, Palisade Research, которая сама себя называет некоммерческой; других сведений о ней в источнике нет. Реакции OpenAI, Google и Anthropic в материале не приводятся.
Риски и подводные камни
Цифры вроде «монетки» или «10 процентов» легко принять за результат измерения, хотя это личные оценки. Как отмечает The Verge, даже в этих видео нет единого решения, а само понятие «безопасность ИИ» трудно определить. Даже Нанда признаёт, что компании не прекратят создавать такие системы, если он уйдёт.
«К сожалению, мы вообще не знаем, как их контролировать. Поэтому, вероятно, никто не смог бы их контролировать. Это ровно настолько опасно, как звучит, и этого нельзя допустить.»
— Дэниел Кокотайло, бывший исследователь OpenAI