Anthropic, по данным FT, консультируется с юристами о правилах переговоров ИИ-агентов

Anthropic прорабатывает, как ИИ-агенты могли бы вести переговоры от имени пользователей. По данным Financial Times (в пересказе The Decoder), компания консультируется с юридическими фирмами, чтобы выработать справедливые нормы переговоров для таких агентов: они торговались бы о цене, разбирали жалобы или улучшали условия предложений по договорам.

У этой темы есть тревожная сторона. По словам The Decoder, Anthropic уже показала в экспериментах, что более сильные модели добиваются лучших условий сделок, а это может усилить неравенство в обществе. Какие именно эксперименты проводились и какова величина преимущества, в материале не раскрывается.

Связанное направление уже запущено: Anthropic нанимает юристов на позиции Conceptual Reasoning Fellows (стипендиатов по концептуальному мышлению). Четыре месяца они будут проверять Claude на вопросах, требующих суждения, в области права, философии, когнитивной науки, экономики и политологии. Оплата, указанная в материале, от $100 000 до $167 000.

За этим стоит проблема данных. В математике и программировании модели улучшать сравнительно легко: проверяемых данных много, или их просто получить. В гуманитарных областях таких данных нет, в том числе потому, что правильные и неправильные ответы редко бывают однозначными. Поэтому Anthropic нужны эксперты, способные составлять тестовые случаи и оценочные наборы (evals), чтобы усилить Claude в этих областях. Джастин Кёрл (Justin Curl), сотрудник технического состава Anthropic, исследующий право, институты и ИИ, указывает, что в юриспруденции «общеизвестно трудно определить качество».

Ключевые факты

По данным Financial Times (в пересказе The Decoder), Anthropic консультируется с юридическими фирмами о справедливых нормах переговоров для ИИ-агентов, которые торговались бы о ценах, решали жалобы и улучшали условия договоров.
По утверждению The Decoder, эксперименты Anthropic уже показали: более сильные модели выбивают лучшие условия сделок, что может усилить неравенство в обществе.
Anthropic нанимает юристов как Conceptual Reasoning Fellows: четыре месяца они будут тестировать Claude на вопросах права, философии, когнитивной науки, экономики и политологии; оплата, от $100 000 до $167 000.
Причина найма, нехватка проверяемых данных в гуманитарных областях, в отличие от математики и кода, где такие данные доступны или легко создаются.

Почему это важно

Если ИИ-агенты станут торговаться и согласовывать договоры вместо людей, исход будет зависеть от силы модели. По словам The Decoder, эксперименты Anthropic уже показали, что сильные модели получают более выгодные условия, а это может углубить общественное неравенство. Поэтому разработка правил честных переговоров до массового появления таких агентов выглядит попыткой заранее обозначить рамки. Отдельно найм юристов показывает, что улучшение моделей в гуманитарных областях упирается в нехватку проверяемых данных, а не только в вычислительные мощности.

Кому это важно

Разработчикам и компаниям, которые строят или внедряют ИИ-агентов для закупок, работы с клиентскими жалобами и согласования договоров. Юристам и юридическим фирмам, которых привлекают как консультантов и оценщиков. Регуляторам и всем, кого интересует, как ИИ-посредники повлияют на справедливость сделок между сторонами с разным доступом к сильным моделям.

Как это применить

Напрямую применять пока нечего: в материале не названы ни сами нормы, ни сроки их готовности. Практический вывод для команд, внедряющих переговорных агентов: заранее продумать, какие полномочия получает агент (торговаться о цене, решать жалобы, улучшать условия договора) и как проверять качество его решений. Для специалистов по праву, философии, когнитивной науке, экономике и политологии, это сигнал о спросе: Anthropic предлагает четырёхмесячную программу с оплатой от $100 000 до $167 000. Из источника не ясно, считается ли эта сумма за месяц или за весь срок.

Можно ли доверять

Это материал The Decoder, пересказывающий сообщение Financial Times; первичного заявления Anthropic в тексте нет, и подтверждение консультаций со стороны компании не приведено. Названия юридических фирм не раскрыты. Данные об экспериментах с переговорами изложены голосом The Decoder без деталей: не сказано, какие модели сравнивали и насколько велико преимущество. Найм Conceptual Reasoning Fellows подан как установленный факт, но тоже без ссылки на первоисточник. Цитата Джастина Кёрла касается трудности определения качества в праве; связи его слов с работой над нормами переговоров в материале не проводится.

Риски и подводные камни

Главный риск, обозначенный в материале, неравенство: сторона с более сильной моделью может выигрывать переговоры. Что именно будут содержать нормы и как их будут применять, неизвестно, как и то, когда они появятся. Неясно также, сколько стипендиатов наймут и когда начнётся программа. В гуманитарных областях, по словам The Decoder, проверяемых данных нет, отчасти потому, что правильные и неправильные ответы там редко однозначны.

«В юриспруденции качество общеизвестно трудно определить.»

— Джастин Кёрл (Justin Curl), сотрудник технического состава Anthropic, исследующий право, институты и ИИ (в передаче The Decoder)