Тест TenetBench: 11 из 14 вариантов нейросетей нарушают кодексы этики

Специалисты всё чаще работают с ассистентами на основе больших языковых моделей, а профессиональные кодексы этики одновременно направляют и ограничивают их работу. Авторы статьи отмечают: такой ассистент может нарушить кодекс пользователя или помочь ему это сделать, и пользователь этого не заметит. Оценки, которые описывают лишь широкие категории вреда, не показывают, как часто это случается и какое именно положение кодекса нарушено.

Для этого предложен TenetBench, русскоязычный набор данных. В нём 3 433 запроса, которые противоречат пунктам пятнадцати русскоязычных профессиональных кодексов. К каждому запросу подобран «безобидный близнец», отличающийся только законностью того, о чём просят. Благодаря этому можно отличить модель, которая осторожничает вообще, от модели, которая различает допустимое и недопустимое.

Задачи создаёт автоматический конвейер по тексту кодекса. Поэтому набор растёт с каждым добавленным кодексом, а одно и то же положение при каждом запуске даёт новые задания. Конвейер также выдал задачи и проверенные людьми вердикты по двум англоязычным кодексам других юрисдикций.

Проверка людьми: на «замороженном» конвейере специалисты сочли правдоподобными 0,995 конфликтных заданий. Согласие модели-судьи с итоговой (согласованной) разметкой по коэффициенту AC1 Гвета составило не менее 0,894 на 1 860 элементах.

Авторы оценили четырнадцать комбинаций «модель и режим рассуждения»: выдаёт ли каждая конфликтный текст, отказывается или предупреждает. Одиннадцать из четырнадцати на большинство таких запросов выдают конфликтный контент, в основном без предупреждения; почти три предупреждения из четырёх сопровождают именно конфликтный контент. Модели, которые соблюдают кодексы лучше, делают это через отказ, но при этом по-прежнему выполняют законный запрос-близнец. Включение режима рассуждения вдвое сократило число отказов у двух моделей.

Авторы надеются, что набор данных и конвейер помогут оценивать, как языковые модели соблюдают профессиональные нормы, и позволят строить диагностические наборы под конкретные профессии и организации.

Ключевые факты

TenetBench, русскоязычный набор из 3 433 запросов, противоречащих положениям пятнадцати профессиональных кодексов; к каждому подобран безобидный «близнец», отличающийся лишь законностью просьбы.
Задания генерирует автоматический конвейер по тексту кодекса: набор растёт с каждым новым кодексом, а одно положение при каждом запуске даёт новые задачи. Конвейер также выдал задачи по двум англоязычным кодексам других юрисдикций.
Специалисты признали правдоподобными 0,995 конфликтных задач, а согласие модели-судьи с итоговой разметкой (AC1 Гвета), не ниже 0,894 на 1 860 элементах.
Из четырнадцати проверенных комбинаций «модель и режим рассуждения» одиннадцать на большинство таких запросов выдают конфликтный контент, в основном без предупреждения.
Модели, которые соблюдают кодексы лучше, делают это отказами, но продолжают обслуживать законного «близнеца»; включение рассуждения вдвое сократило отказы у двух моделей.

Почему это важно

Чат-ассистентов всё чаще используют в профессиональной работе, где у специалиста есть свой кодекс этики. По словам авторов, ассистент может нарушить этот кодекс или помочь его нарушить так, что пользователь не заметит. Обычные оценки вреда по широким категориям не показывают, как часто это происходит и какой пункт нарушен. TenetBench привязывает каждый запрос к конкретному положению кодекса, а результат, к тому, выдала ли модель конфликтный текст, отказалась или предупредила.

Кому это важно

Исследователям, которые оценивают безопасность и поведение языковых моделей на русском языке. Командам, внедряющим ассистентов в профессиональную среду. Авторы также надеются, что конвейер позволит строить диагностические наборы под конкретные профессии и организации.

Как это применить

Источник, аннотация статьи; ссылка на скачивание набора данных и конвейера в ней не приведена, поэтому оценить, как их запустить, пока нельзя. Идея, которую можно перенять уже сейчас: проверять модель на парах «конфликтный запрос, безобидный близнец», чтобы отличить настоящее соблюдение норм от слепого отказа. Конвейер, по заявлению авторов, строит задания из текста кодекса, то есть в принципе применим к любому новому кодексу.

Можно ли доверять

Это результаты авторов, изложенные в аннотации. Качество набора они подкрепляют двумя проверками: специалисты сочли правдоподобными 0,995 конфликтных задач, а согласие модели-судьи с итоговой разметкой по AC1 Гвета, не ниже 0,894 на 1 860 элементах. Авторы и их организации в аннотации не названы. Не названы и конкретные модели, поэтому по тексту нельзя понять, какие именно из четырнадцати комбинаций нарушают кодексы. Нет и численных долей отказов.

Риски и подводные камни

Формулировка «большинство таких запросов» не расшифрована числом, поэтому масштаб нарушений у одиннадцати комбинаций остаётся неизвестным. Не раскрыто, у каких двух моделей отказы сократились вдвое с включением рассуждения и от какого исходного уровня. Не названы и сами кодексы с профессиями. Наконец, более осторожные модели выигрывают через отказы, но, по словам авторов, продолжают выполнять законный запрос-близнец, так что сравнение моделей только по числу отказов вводит в заблуждение.