The Download: пределы рекурсивного самоулучшения ИИ и причины летней жары
Индустрия ИИ обещает, что искусственный интеллект скоро начнёт совершенствовать сам себя почти без участия человека, это одно из самых смелых заявлений отрасли сейчас. Но новое исследование, о котором рассказывает материал за подписью Мишель Ким, говорит, что путь к этому дольше, чем кажется: ИИ-агенты до сих пор не справляются с «открытыми» исследованиями, свободными изысканиями без заранее известного ответа, где нужны человеческое суждение и творчество, чтобы совершить настоящий прорыв. Открытым остаётся вопрос, насколько такие открытые исследования вообще необходимы для рекурсивного самоулучшения и не сможет ли ИИ дойти до него другим путём, постепенно совершенствуясь в более узких, чётко очерченных задачах. По мнению автора материала, результаты исследования могут охладить ожидания того, что рекурсивное самоулучшение ИИ уже на горизонте.
Второй крупный сюжет выпуска, пауза OpenAI. По данным The Guardian, компания заявила, что её модель Astra достигла «критического» порога риска, и приостановила часть работы над ней. Axios отмечает, что такая осторожность отличает подход OpenAI от подхода Anthropic. При этом, по данным The Verge, OpenAI уже выпустила обновления безопасности после взлома Hugging Face, а по данным AP News, представила отдельную версию чат-бота ChatGPT для подростков.
Ещё один материал выпуска, превращённый также в эпизод подкаста MIT Technology Review Narrated, разбирает нынешнюю летнюю жару в Северном полушарии. Июнь и июль стали для Европы самым жарким двухмесячным периодом за всю историю наблюдений, материковая часть США пережила самый жаркий июль в истории измерений, а Южная Корея зафиксировала свой абсолютный температурный рекорд. Изменение климата делает волны жары более вероятными и более сильными, но, по данным издания, есть и второй фактор, цикл Эль-Ниньо: он уже набирает силу и, как ожидается, сильнее скажется на глобальных температурах в 2027 году.
Короткая подборка ссылок из выпуска добавляет ещё несколько сюжетов. Акции китайского производителя человекоподобных роботов Unitree взлетели на 629% в день дебюта на бирже (IPO): Bloomberg называет это подтверждением лидерства Китая в этой нише, Reuters, примером того, что Unitree стала одним из ключевых игроков в технологическом противостоянии США и Китая, а BBC, что компания уже сейчас крупнейший в мире производитель человекоподобных роботов и при этом прибыльна. По данным Financial Times, Китай впервые допустил на свой внутренний рынок чипы Nvidia H200: компании ByteDance и Tencent уже получили примерно по 10 000 таких чипов каждая. Wired рассказывает о новом инструменте компании Flock на основе ИИ: он позволяет полиции опознавать водителей по особенностям их передвижения, а не только по номерам машин. По данным BBC, в первый день знакового судебного процесса обвинение заявило, что Meta намеренно формировала у детей зависимость от Facebook и Instagram. New York Times сообщает, что даже иммиграционная и таможенная служба США (ICE) запретила своим сотрудникам пользоваться на рабочем месте смарт-очками Meta из соображений приватности. По данным 404 Media, алгоритм платформы X обучается на том, что раздражает пользователя, и показывает ему больше такого контента, причём, согласно упомянутому в материале исследованию, у демократов этот эффект выражен сильнее. New Scientist приводит гипотезу одного физика, чьё имя в материале не названо: Вселенная может повторять себя бесконечно, и те же галактики, жизни и события будут возникать снова и снова. А по данным Reuters, незрячий разработчик из Египта, тоже не названный по имени, создал ИИ-приложение, которое через камеру смартфона отвечает на вопросы об окружающей обстановке, помогая другим незрячим людям «видеть» мир.
«Цитата дня» выпуска, от Стейси Моррис, мамы из Кентукки: её сын принёс из школы пакет учебных материалов, сгенерированных ИИ, и в разговоре с местным телеканалом WDRB она перечислила найденные в них ошибки, например, что Аризона там названа «Аризоне», а Иллинойс, если верить материалам, начинается на букву V.
Главный лонгрид номера, рубрика «One More Thing» за подписью Антонио Регаладо, посвящён палестинскому специалисту по стволовым клеткам Джейкобу Ханне. В прошлом мае, когда его останавливали при въезде в США, вопросы пограничников впервые коснулись конкретно эмбрионов. Самих образцов у Ханны не было, но дать однозначный ответ было бы всё равно непросто: он специализируется на синтетических моделях эмбрионов, структурах, похожих на настоящие эмбрионы, но не связанных со сперматозоидами, яйцеклетками или оплодотворением. По словам автора материала, такие модели способны дать беспрецедентный взгляд на самые ранние стадии развития человека и открыть новый способ получать клетки для трансплантационной медицины, но по мере того как модели становятся всё реалистичнее, они поднимают всё более сложные вопросы о том, как далеко в этой науке можно заходить. Завершается номер лёгкой подборкой: виртуальным туром по пещерной живописи Испании, базой почти из 2000 доисторических животных и историей о плавучей арт-инсталляции в виде магазина шаговой доступности.
Ключевые факты
- Новое исследование показало: ИИ-агенты пока не способны на «открытые» исследования без заранее известного ответа, то есть на творческую работу, необходимость которой для рекурсивного самоулучшения ИИ почти без участия человека остаётся открытым вопросом.
- OpenAI приостановила часть работы над моделью Astra: по данным The Guardian, модель достигла «критического» порога риска; Axios отмечает, что это отличает осторожность OpenAI от подхода Anthropic.
- Акции китайского производителя человекоподобных роботов Unitree выросли на 629% в день дебюта на бирже; по данным BBC, компания уже сейчас крупнейший в мире и при этом прибыльный производитель таких роботов.
- Китай впервые допустил на свой рынок чипы Nvidia H200: по данным Financial Times, компании ByteDance и Tencent уже получили примерно по 10 000 таких чипов каждая.
- Июнь и июль стали для Европы самым жарким двухмесячным периодом за всю историю наблюдений, материковая часть США пережила самый жаркий июль в истории измерений, а Южная Корея, свой абсолютный температурный рекорд; по данным издания, из-за цикла Эль-Ниньо 2027 год может оказаться ещё жарче.
Почему это важно
Выпуск связывает несколько разных, но по-своему значимых для ИИ-отрасли сюжетов. Во-первых, конкретное исследование остужает один из самых смелых нарративов индустрии, о скором рекурсивном самоулучшении ИИ почти без участия человека: пока ИИ-агенты не умеют вести открытые, творческие исследования, этот сценарий откладывается. Во-вторых, решение OpenAI приостановить часть работы над моделью Astra из-за «критического» порога риска, редкий публичный пример того, как крупная лаборатория сама тормозит собственную разработку, да ещё и заметно отличается по осторожности от подхода Anthropic. В-третьих, взлёт акций Unitree на 629% в день дебюта на бирже и приход в Китай чипов Nvidia H200 показывают, что гонка за «железо» и за человекоподобных роботов идёт параллельно с разговорами о безопасности моделей. Остальная часть выпуска, жара, судебный процесс против Meta, смарт-очки, алгоритм X, эмбрионы, формально не про ИИ, но показывает более широкий технологический и климатический контекст, в котором разворачиваются эти три сюжета.
Кому это важно
Исследователям и разработчикам ИИ-агентов, потому что результат прямо говорит, каких способностей агентам ещё не хватает для автономных прорывов. Специалистам по безопасности ИИ и регуляторам, потому что решение OpenAI показывает, как на практике может выглядеть срабатывание внутреннего порога риска в крупной лаборатории. Инвесторам и наблюдателям за технологической гонкой Китая и США, из-за дебюта Unitree на бирже и допуска чипов Nvidia H200 на китайский рынок. Юристам и правозащитникам, из-за инструмента Flock для полиции и судебного процесса против Meta. Родителям и учителям, из-за истории про ошибки в ИИ-сгенерированных учебных материалах, которые попали в руки школьника.
Как это применить
Это дайджест-обзор, а не инструкция, поэтому прямых практических шагов в нём немного. Тем, кто занимается ИИ-агентами, стоит учитывать, что открытые, творческие исследования, пока не их сильная сторона, и закладывать это ограничение в планы по автономности агентов. Командам по безопасности ИИ имеет смысл присмотреться к формулировке OpenAI про «критический порог риска» как к возможному ориентиру для собственных политик остановки обучения. А компаниям, которые используют ИИ для подготовки учебных или справочных материалов, полезно взять на заметку конкретный пример из выпуска, перепутанное название штата и неверную начальную букву в названии другого, как напоминание проверять такие материалы перед тем, как отдавать их людям.
Можно ли доверять
MIT Technology Review, одно из самых авторитетных изданий о технологиях, и сам формат The Download устроен прозрачно: это подборка со ссылками на источники, Guardian, Axios, The Verge, AP News, Bloomberg, Reuters, Financial Times, Wired, BBC, 404 Media, New York Times, New Scientist, а не репортаж одного журналиста. Слабое место, конкретика по некоторым пунктам: само исследование о рекурсивном самоулучшении дано без названия института, имён авторов и методологии, только «учёные» и «новое исследование», так что судить о строгости этой работы по одному дайджесту нельзя. Так же не назван по имени и физик с гипотезой о повторяющейся Вселенной, и разработчик ИИ-приложения для незрячих, эти детали остаются только в оригинальных материалах New Scientist и Reuters.
Риски и подводные камни
Главный риск, потерять сигнал в шуме: в одном выпуске жара, эмбрионы, смарт-очки и ИИ-агенты идут одним потоком, и по-настоящему важные для ИИ-отрасли новости, пауза OpenAI, предел самоулучшения, легко потеряются между историей про летнюю жару и историей про эмбрионы. Самой формулировке OpenAI про «критический порог риска» не хватает конкретики: неясно, что именно вызвало срабатывание и какая часть работы над Astra приостановлена. А 629-процентный скачок акций Unitree в день дебюта, это волатильность одного торгового дня, а не устойчивая рыночная оценка компании. Делать из этого выпуска вывод «ИИ уже почти безопасен» или «ИИ уже почти научился улучшать сам себя» одинаково не стоит: оба сюжета на деле, про пределы и осторожность, а не про прорыв.
«Аризона у них, это «Аризоне». Иллинойс, если им верить, начинается на V. Это же бред какой-то.»
— Стейси Моррис, мама из Кентукки, телеканалу WDRB о пакете учебных материалов, сгенерированных ИИ, который её сын принёс домой
Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.