Гверн предложил «ангелов-хранителей», личные ИИ-модели для продуктивности и защиты от ИИ-угроз

Известный ИИ-эссеист и исследователь Гверн (публикуется под этим псевдонимом на сайте gwern.net) опубликовал эссе с предложением новой архитектуры персональных ИИ-систем, «ангелов-хранителей» (Guardian Angels, GA). Отправная точка: к середине 2026 года мощные языковые модели вот-вот начнут доминировать в интернете и повседневной жизни, но ни у профессионалов, ни у обычных людей до сих пор нет внятного понимания, как использовать их для реального роста продуктивности и как защищаться с их же помощью от киберугроз и рисков для «когнитивной» безопасности, то есть от манипуляций и обмана, которые сами мощные ИИ и порождают.

Суть предложения: вместо привычной роли безликого «ассистента-чат-бота» модель должна становиться цифровым двойником одного конкретного человека, эмулировать именно его личность, ценности и предпочтения, а не обслуживать всех одинаково. По мысли Гверна, это снимает классическую проблему принципала и агента: пользователь становится кем-то вроде гендиректора или совета директоров своей личной «ИИ-корпорации», решает, ЧТО стоит делать, а собственный агент берёт на себя, КАК это делать, включая проверку входящих сообщений на продвинутые атаки (например, сети поддельных материалов для пропаганды или целевого фишинга). По замыслу автора, такой агент одновременно продуктивен (учится выдавать результат уровня хозяина, но качественнее), заслуживает доверия (по определению разделяет его цели и ценности) и безопасен: он жёстко привязан к одному конкретному человеку, поэтому атаки через подмену промпта или попытку заставить агента действовать в чужих интересах теряют смысл, а периодическое обновление модели позволяет не отставать от атакующих.

Гверн настаивает: получить такого агента с помощью обычного промпт-инжиниринга поверх «замороженной» модели не получится, мешают ограничения посттренинга, размера контекстного окна и self-attention в компактных, но недопараметризованных моделях, а также сама по себе пассивная офлайн-подготовка данных. Именно этим он объясняет, почему сегодняшние чат-боты слабо помогают интеллектуальному труду и творческому письму и совершают фатальные ошибки в агентных сценариях. Вместо этого нужна комбинация из четырёх элементов: онлайн-обучение (через динамическую оценку), обновляющее модель в реальном времени и не дающее ей отставать от топовых моделей; перенос выборочной эффективности с предобученных больших моделей, заточенных под предпочтения; активное обучение, при котором система сама запрашивает у хозяина правки и оценки (по логике, близкой к алгоритму DAgger, минимизирующему накопление ошибок); и локальный интерфейс в духе CLI с постоянным логированием, вместо облачного чата. Из-за высоких требований к безопасности и растущей угрозы продвинутых целевых атак (APT) Гверн считает, что «ангелов-хранителей», скорее всего, создаст стартап, нацеленный сначала на топ-менеджеров и исследователей, а уже потом, на массовый рынок, а не открытое сообщество разработчиков.

Личная мотивация автора начинается с признания: он много лет не мог получить продуктивность от чат-бот-версий LLM, их проза казалась ему творчески зажатой и однообразной, тогда как те же модели параллельно становились всё мощнее именно в кодинге и кибербезопасности/хакинге, а открытые модели, по его оценке, в этом смысле ещё хуже, заточены под прохождение бенчмарков (тестовых наборов для оценки моделей), а не под реальную пользу для конкретного человека вроде него. Дальше, образ 2030 года: Гверн пытается представить себя в это время, когда, по многим прогнозам, ИИ превзойдёт человека, и не находит ответа, чем именно будет заниматься день за днём, печатать промпты в браузерной вкладке ChatGPT или бездумно жать Enter в терминале с Claude Code. Его тревожит сценарий «мёртвого интернета»: сети синтетических медиа, романтическо-инвестиционные скам-схемы «pig butchering» (жертву долго обхаживают, чтобы затем обобрать), случаи «ИИ-психоза», когда даже вроде бы здравомыслящие люди поддаются слепому доверию чат-ботам, и общий вал низкокачественного ИИ-контента. Триггером стал случай с его двоюродной бабушкой: перед поездкой он не мог до неё дозвониться, автоответчик был переполнен, потому что она, опасаясь телефонных мошенников, перестала сама отвечать на звонки и переключила всё на дочь. Это насторожило Гверна: он уже сейчас с трудом отличает ИИ-шлак от настоящего контента и игнорирует холодные рассылки, и не видит причин полагать, что через несколько лет справится с мошенничеством лучше собственной двоюродной бабушки. Эту тревогу он подкрепляет литературной параллелью, цитатой о Денеторе из «Властелина колец»: тот пользовался палантиром, «зеркалом», показывавшим лишь то, что позволял видеть противник, пока открывшаяся мощь Мордора не сломила его рассудок отчаянием, намёк на риск слишком долго полагаться на источник информации, который не находится под твоим контролем.

Основной тезис критической части эссе: интересы обычных чат-ботов (ChatGPT, Claude и подобных) не совпадают с интересами пользователя, они совпадают с интересами компаний-владельцев, чья экономическая модель строится на рекламе и подписках и подталкивает не усиливать человека, а полностью заменять его автономными агентами («инструментальный ИИ хочет стать агентным ИИ»). Гверн сравнивает это с двигателем внутреннего сгорания: тот разбогател не потому, что помог лошадям бегать быстрее, а потому, что заменил их. Дальше, прикидка на пальцах: если с ИИ-помощником человек ускоряется в 10 раз, то полностью автономный ИИ без оглядки на человека, в 100 раз, а ещё через полгода, в 1000 раз, так что рано или поздно человека просто уберут из процесса. Здесь же работает закон Амдала: пока человек остаётся медленным звеном в цепочке (например, обязан проверять результат работы ИИ), скорость всей системы ограничена именно им; один программист, управляющий 10 копиями Claude, которые он обязан проверять, всегда будет менее ценен для бизнеса, чем полностью автономный рой из 10 000 копий без человека в цепочке, и это в равной мере касается юристов, писателей и исследователей: человека всё активнее превращают в узкое место, которое выгодно устранить. По мнению Гверна, обещанный «диффузный» рост продуктивности от чат-ботов так и не случился: писатель может рассчитывать либо на скромную пользу (чат-бот как продвинутая проверка орфографии), либо на кратный прирост скорости за счёт замены собственного письма низкокачественным «ИИ-шлаком», но тогда теряется весь смысл писательства как самовыражения. На личном примере Гверн признаётся: несмотря на огромный корпус его текстов, доступный моделям, чат-боты плохо имитируют именно его стиль и мысль, выдают шаблонную «чат-бот-прозу», которую он не смог бы опубликовать под своим именем, и заключает, что без решения этой проблемы обречён на творческую нерелевантность.

В следующем разделе, «Проблемы чат-ботов», Гверн переходит к разбору конкретных технических причин, в частности, «схлопыванию» (mode collapse) креативности моделей при переходе от GPT-3 к ChatGPT: по его версии, посттренинг (особенно RLHF, обучение с подкреплением на основе человеческой обратной связи) жёстко вшивает в модель личность «ассистента», оптимизированную под усреднённые вкусы, и это подавляет оригинальность. На этом месте доступный фрагмент исходного текста обрывается.

Ключевые факты

Гверн (gwern.net) предлагает концепцию «ангелов-хранителей» (Guardian Angels), личных ИИ-агентов, которые эмулируют характер, ценности и стиль ровно одного пользователя, а не играют роль безликого ассистента для всех.
У такого агента три задачи сразу: быть продуктивнее хозяина в его же стиле, быть заведомо надёжным (он по определению разделяет цели пользователя) и быть защищённым, привязка к одному конкретному человеку обесценивает атаки через подмену промпта.
Технически нужна не тонкая настройка «замороженной» модели, а обучение в реальном времени: онлайн-обучение, активное обучение с запросом правок у пользователя (по логике алгоритма DAgger) и локальный CLI-интерфейс с логированием вместо облачного чата.
Из-за высокой цены защиты от продвинутых целевых атак (APT) Гверн считает, что «ангелов-хранителей», скорее всего, построит стартап для топ-менеджеров и исследователей, а не открытое сообщество разработчиков.
Гверн резко критикует нынешние чат-боты: их выгоднее не усиливать человека, а полностью заменять, если с ИИ-помощником человек ускоряется в 10 раз, то полностью автономный агент способен на 100, а через полгода на 1000, поэтому один программист с 10 копиями Claude, которые он обязан проверять, всегда проигрывает по ценности рою из 10 000 автономных копий без человека в цепочке.

Почему это важно

Потому что предложение бьёт сразу по двум больным точкам, которые Гверн подробно документирует на личном опыте. Во-первых, нынешние чат-боты (ChatGPT, Claude и другие) обещали резкий рост продуктивности интеллектуального труда, но по факту дают лишь скромную пользу вроде проверки орфографии, либо кратный прирост скорости ценой замены авторского голоса «ИИ-шлаком». Во-вторых, те же модели одновременно становятся мощнее в направлении, которое угрожает обычным людям: целевой фишинг, синтетические медиа для пропаганды, схемы обмана «pig butchering» и общий рост недоверия к любому цифровому контакту (иллюстрация, двоюродная бабушка автора, переставшая сама отвечать на звонки). «Ангелы-хранители», попытка развернуть оба тренда в одну сторону: сделать так, чтобы более мощная модель работала строго на своего единственного хозяина, а не против него и не на компанию-разработчика.

Кому это важно

В первую очередь, интеллектуальным работникам (программистам, исследователям, юристам, писателям), которых Гверн прямо называет кандидатами на замену полностью автономными агентными системами, если они останутся узким местом «в петле» проверки результата. Во вторую, обычным людям, особенно пожилым и менее технически подкованным (пример двоюродной бабушки автора), которые уже физически не справляются с потоком телефонного и цифрового мошенничества. В третью, стартапам и инвесторам в сфере ИИ-безопасности и персонализации: Гверн прямо описывает это как коммерческую нишу для новой компании, а не как исследовательский проект. Отдельно это интересно исследователям согласования ИИ с интересами человека (AI alignment), поскольку предложение, попытка обойти проблему согласования не глобально, а на уровне пары «один пользователь, один агент».

Как это применить

Гверн описывает не готовый продукт, а техническое направление. Практический вывод для тех, кто хочет строить нечто подобное: промпт-инжиниринг и тонкая настройка поверх «замороженной» модели для этого не годятся, нужна инфраструктура из четырёх частей: онлайн-обучение, обновляющее модель на реальных действиях пользователя; перенос выборочной эффективности с больших предобученных моделей, заточенных под предпочтения человека; активное обучение, модель сама спрашивает хозяина, когда не уверена, по логике, близкой к алгоритму DAgger; и локальный интерфейс в духе CLI с постоянным логированием действий вместо обычного облачного чата. Коммерчески Гверн советует целиться сначала не в массовый рынок, а в требовательных продвинутых пользователей, топ-менеджеров и исследователей, и только потом опускаться к массовому рынку, потому что первая версия такого продукта будет дорогой и потребует высокого уровня защиты от атак.

Можно ли доверять

Это личное эссе-манифест исследователя и писателя Гверна на его собственном сайте gwern.net, а не рецензируемая научная статья и не анонс продукта от компании с готовым прототипом. Гверн, фигура с репутацией в ИИ- и рационалистских кругах за счёт многолетних подробных технических эссе, но архитектура «ангелов-хранителей», авторская гипотеза, а не работающая система с измеренными результатами: в тексте нет ни бенчмарков, ни пилотных пользователей, ни данных о финансировании. Личные истории (двоюродная бабушка, попытки самому получить пользу от чат-ботов), иллюстрации тезиса, а не доказательства. Материал заметно обсуждается на Hacker News (73 балла, 13 комментариев на момент сбора), что говорит об интересе аудитории, но не подтверждает прогнозы автора о 2030 годе, это по определению непроверяемые сейчас предсказания. Стоит читать как аргументированную точку зрения и повод для дискуссии, а не как факт или дорожную карту с обязательствами.

Риски и подводные камни

Сам Гверн прямо признаёт главный риск: технологические компоненты, необходимые для «ангела-хранителя», дешёвое обучение в реальном времени, активное обучение без изматывающих запросов к пользователю, защита от катастрофических ошибок агента, сегодня не решены и являются задачей будущих исследований, а не готовым рецептом. Второй риск, конфликт интересов: если, как и предлагает сам автор, продукт будет делать стартап с инвесторами и моделью монетизации, у него неизбежно появятся собственные экономические стимулы, то есть ровно та проблема несовпадения интересов владельца и пользователя, ради решения которой всё затевалось. Третий риск, цена ошибки: агент получает широкий доступ к личным данным и переписке хозяина ради защиты от мошенничества, а значит сам становится крайне ценной целью для атаки, взлом такого «ангела-хранителя» может обойтись владельцу дороже взлома обычного аккаунта. Наконец, даже если техническая часть удастся, персональный агент не решает системные проблемы, которые Гверн описывает в первой половине эссе, «мёртвый интернет» и экономические стимулы всей индустрии в целом, а помогает лишь тем, у кого будет доступ к такому продукту.

«Сегодня ИИ стал лучше на 1%. А вы?»

— Майлз Брандедж (перефразировано)