Сэм Альтман выступил в Совбезе ООН: риски и правила для мощного ИИ

Генеральный директор OpenAI Сэм Альтман обратился к Совету Безопасности ООН с речью об искусственном интеллекте. Он заявил, что человечество стоит перед выбором: ИИ может стать либо новым Возрождением, временем творчества и открытий, либо новой Промышленной революцией, временем потрясений и хаоса.

Альтман сказал, что в целом согласен с профессором Бенджио, который описал три сценария, при которых прогресс ИИ может пойти по плохому пути, но сам назвал только два. Первый, потеря контроля над будущим: системы могут развиваться быстрее, чем люди способны за ними уследить или вмешаться. Он заявил, что отрасль не должна идти на чрезмерный технологический риск лишь потому, что выгоды кажутся слишком большими, а конкуренция, слишком острой; по его словам, OpenAI уже в прошлом добровольно замедляла развитие своих систем и сделает это снова в будущем. Альтман подчеркнул: неважно, оценивать ли риск катастрофы в 10%, 1%, 12% или 0,1%, ни один из этих уровней неприемлем, и нельзя обучать модели без исчерпывающих доказательств того, что их удастся удержать под контролем человека.

Второй риск, по его словам, чрезмерная концентрация власти: ни один человек, компания или страна не должны получить возможность навязывать свою картину мира всем остальным с помощью самых мощных моделей ИИ.

Альтман сформулировал три принципа OpenAI: люди должны оставаться в центре принятия решений об ИИ; выгоды от научного и экономического прогресса должны принадлежать людям и создаваться для людей; технология должна расширять возможности людей по отдельности, а не подменять человеческую волю. Он привёл в пример прогресс моделей OpenAI в математике: если несколько лет назад они справлялись лишь со школьной арифметикой, то прошлым летом достигли уровня золотой медали на самом престижном международном математическом соревновании, а несколько недель назад одна из моделей решила одну из проблем тысячелетия, уравнения Навье-Стокса, которые применяются в проектировании самолётов, прогнозировании погоды и изучении кровотока.

Альтман призвал к международному сотрудничеству: миру нужны общие стандарты для измерения возможностей ИИ, оценки рисков и проверки достаточности защитных мер, а также механизмы быстрой отчётности об инцидентах и защищённые каналы связи между правительствами, операторами критической инфраструктуры и техническими экспертами для обмена данными об уязвимостях и угрозах. По его словам, такие стандарты не должны закреплять преимущество нынешних лидеров рынка или один тип бизнес-модели, они должны поддерживать как открытые, так и закрытые модели, и новых игроков, и уже устоявшиеся лаборатории. Важнейшие решения об ИИ, добавил он, не могут приниматься одними лишь лабораториями в Сан-Франциско, их должны формировать демократические институты и подотчётные обществу правительства.

Ключевые факты

• Сэм Альтман выступил перед Советом Безопасности ООН с речью об искусственном интеллекте
• Он назвал два главных риска: потерю контроля над быстро развивающимися системами и концентрацию власти в руках одного человека, компании или страны
• По его словам, риск катастрофы неприемлем на любом уровне, будь то 10%, 1%, 12% или 0,1%, а OpenAI уже добровольно замедляла развитие своих моделей и готова делать это снова
• Альтман сообщил, что одна из моделей OpenAI решила одну из проблем тысячелетия, уравнения Навье-Стокса, а летом модели достигли уровня золотой медали на престижном математическом соревновании
• Он призвал к международным стандартам оценки рисков ИИ, отчётности об инцидентах и участию демократических институтов в ключевых решениях

Почему это важно

Выступление главы одной из ведущих ИИ-компаний перед высшим органом ООН по вопросам безопасности, редкий случай, когда частная компания напрямую обращается к мировым правительствам с призывом к регулированию своей же отрасли. Это отражает растущее признание того, что риски мощного ИИ выходят за рамки одной компании или страны.

Кому это важно

Речь адресована представителям правительств, дипломатам и регуляторам, участвующим в выработке международных правил для ИИ, а также участникам индустрии, которым предстоит договариваться об общих стандартах безопасности и отчётности.

Как это применить

Из выступления следует, что OpenAI выступает за единые международные стандарты измерения возможностей ИИ, оценки рисков и отчётности об инцидентах, которые не должны закреплять преимущество нынешних лидеров рынка и должны поддерживать как открытые, так и закрытые модели.

Можно ли доверять

Текст, официальная публикация OpenAI с полным текстом речи Альтмана перед Советом Безопасности ООН, поэтому формулировки переданы точно; источник не приводит реакцию членов Совбеза на выступление и не уточняет точную дату заседания или конкретную модель, решившую задачу Навье-Стокса.

Риски и подводные камни

Заявления о добровольном замедлении разработки и приверженности безопасности исходят от самой компании и не подкреплены независимой проверкой; конкретные проценты риска катастрофы, названные Альтманом, риторический приём, а не реальная оценка вероятности для какой-либо системы.

«Неважно, оценивать ли риск катастрофы в 10%, 1%, 12% или 0,1%. Ни один из этих уровней не является сколько-нибудь приемлемым. И мы не должны обучать модели, если не можем привести исчерпывающие доказательства того, что удержим их под контролем человека.»

— Сэм Альтман, генеральный директор OpenAI