MANCE: удаление концептов из представлений моделей с учётом их многообразия

Задача «стирания концепта» (concept erasure), убрать из внутреннего представления модели (эмбеддинга) информацию об одном конкретном признаке, но не испортить всю остальную закодированную в нём информацию. Сложность в том, что представления кодируют сразу много концептов одновременно, и они часто скоррелированы с тем, который нужно стереть: убирая один признак, легко случайно повредить соседние с ним.

Авторы работы (первый автор, Matan Avitan) выдвигают «гипотезу ограничения многообразием» (Manifold Constraint Hypothesis, MCH): естественные представления данных концентрируются не во всём пространстве возможных векторов, а на структурированном подпространстве меньшей размерности, «многообразии» (manifold). Если это так, любое вмешательство в представления, включая стирание концепта, должно быть ограничено этим многообразием, тогда оно меньше повредит остальную информацию, чем правка «в лоб» по всему пространству.

На основе MCH предложен метод MANCE (MANifold aware Concept Erasure). Он работает итеративно: классификатор, обученный предсказывать целевой концепт, подсказывает, в какую сторону сдвинуть представление, чтобы концепт стал неразличим; но вместо свободного шага в этом направлении MANCE сначала по естественным (немодифицированным) входным данным оценивает форму многообразия, на котором лежат представления, а затем проецирует шаг стирания на это многообразие, то есть двигает вектор только вдоль допустимой структуры данных, а не в произвольном направлении.

Метод проверен на 119 сценариях в тексте и изображениях: 13 языковых моделях, трёх концептах из области NLP и 40 атрибутах из набора CelebA-CLIP (снимки лиц с разметкой атрибутов). Применение MANCE поверх существующих методов стирания концептов стабильно снижает «утечку» (leakage), остаточную информацию о стёртом концепте, которую всё ещё можно извлечь из представления.

Также представлены две модификации, MANCE+ и MANCE++: они сначала применяют аналитический (closed-form, вычисляемый по формуле, а не итеративно) алгоритм стирания, а затем добавляют MANCE поверх него. Это даёт лучший баланс между утечкой и «хирургичностью» правки (surgicality, насколько точечно и без побочного ущерба выполнено удаление) по сравнению с обычными правками по всему пространству представлений. MANCE++, лучший из предложенных вариантов, по заявлению авторов, достигает состояния искусства (state-of-the-art) для нелинейного стирания концептов.

Итоговый вывод авторов: результаты подтверждают гипотезу MCH применительно к задаче стирания концептов, вмешательства в представления модели действительно стоит ограничивать естественным многообразием данных, а не выполнять произвольно по всему пространству.

Ключевые факты

Concept erasure, задача удалить из эмбеддинга модели информацию об одном признаке, не повредив остальную закодированную информацию
Гипотеза MCH: представления лежат на структурированном многообразии меньшей размерности, поэтому правки нужно ограничивать этим многообразием
Метод MANCE итеративно стирает концепт по сигналу классификатора, проецируя каждый шаг на оценённое по естественным данным многообразие
Проверка на 119 сценариях: 13 языковых моделей, 3 NLP-концепта, 40 атрибутов CelebA-CLIP, MANCE поверх существующих методов стабильно снижает утечку
Модификации MANCE+/MANCE++ (закрытая формула + MANCE) дают лучший баланс утечка/хирургичность; MANCE++ заявлен как SOTA для нелинейного стирания концептов

Почему это важно

Удаление конкретного признака из представлений моделей, базовая операция для честности и приватности ИИ: например, чтобы скоринговая или рекомендательная модель не использовала пол, расу или другой защищённый атрибут, даже если он неявно «размазан» по эмбеддингу. Проблема давно известна: агрессивное удаление концепта обычно портит и полезную информацию рядом с ним. Работа предлагает не новый частный трюк, а общий геометрический принцип (ограничение вмешательства естественным многообразием данных), который в теории применим поверх любых существующих методов стирания концептов, а не заменяет их.

Кому это важно

В первую очередь, исследователям в области fairness (справедливости моделей), интерпретируемости и редактирования представлений, а также командам, которым нужно технически удалить защищённые атрибуты из эмбеддингов (для соответствия антидискриминационным требованиям или требованиям приватности) без деградации качества модели. Полезно и разработчикам инструментов дебайасинга, которые используют существующие методы стирания концептов и ищут способ снизить остаточную утечку признака.

Как это применить

MANCE, надстройка поверх уже существующих методов стирания концептов, а не отдельный самостоятельный продукт: сначала берётся базовый метод удаления, затем поверх него добавляется итеративная проекция на многообразие представлений, оценённое по естественным (немодифицированным) данным. Практически это означает дополнительный шаг в пайплайне редактирования эмбеддингов: обучить классификатор целевого концепта, оценить многообразие представлений модели, затем итеративно вносить и проецировать правки. В тексте источника не упоминается публикация готового кода или библиотеки, судя по всему, речь пока о методе и результатах эксперимента, а не о готовом инструменте.

Можно ли доверять

Метод протестирован широко, 119 комбинаций сценариев, охватывающих и текстовые (13 языковых моделей, три NLP-концепта), и визуальные задачи (40 атрибутов лиц CelebA-CLIP), что даёт основания говорить о воспроизводимости эффекта за пределами одной узкой задачи. При этом источник, публикация на странице препринтов Hugging Face; независимая проверка результатов другими группами и рецензирование сторонними исследователями в тексте не упомянуты, так что выводы стоит воспринимать как заявленные авторами, а не как окончательно подтверждённые практикой вне лаборатории.

Риски и подводные камни

Оценка многообразия строится по естественным входным данным, если распределение данных на практике сместится (другой домен, другой язык, другая популяция атрибутов), оценка многообразия может оказаться неточной, и защита от повреждения информации ослабнет. Метод снижает утечку статистически в среднем по 119 сценариям, но не гарантирует полного удаления концепта в каждом отдельном случае, в чувствительных задачах (юридических, финансовых) остаточная утечка защищённого признака всё ещё возможна. Есть и обратная сторона: тот же инструмент для «честного» удаления атрибута можно использовать для того, чтобы скрыть в модели факт использования признака, который по-хорошему стоило бы явно исключить или задокументировать, а не маскировать постфактум.