CaRGo-T: граф рассуждений помог ИИ точнее понимать юмор
Крупные мультимодальные модели (vision-language models, VLM) неплохо справляются с широким кругом задач, где нужно одновременно работать с изображением и текстом. Но понимание юмора остаётся для них трудной задачей: юмористический эффект часто держится на тонких, неявных связях между персонажами, событиями, контекстом и тем, что показано на картинке и что написано в подписи к ней. Чтобы уловить такую шутку, нужна далеко не линейная цепочка рассуждений, обычные текстовые подсказки и стандартная последовательная цепочка рассуждений (chain-of-thought) с этим справляются плохо.
Абхилаш Нанди с соавторами предложили метод CaRGo-T (Causal Reasoning Graph-of-Thought, «граф причинных рассуждений»). Вместо линейной последовательности шагов CaRGo-T представляет причинные и контекстные связи, лежащие в основе шутки, в виде лёгкого графа рассуждений. Этот граф модель переводит в компактное представление в виде кода; затем та же самая или другая VLM «читает» этот код и на его основе выдаёт итоговый ответ, либо совсем без обучающих примеров (в режиме zero-shot), либо с несколькими примерами прямо в запросе (in-context learning).
Метод проверили на двух задачах, понимании юмора и распознавании юмора, на четырёх датасетах, охватывающих разные виды комического: сатиру, сарказм и мемы. Тестирование велось на нескольких современных коммерческих и открытых VLM, но какие именно, источник не уточняет. По сравнению с прежними методами рассуждений CaRGo-T стабильно показывает более высокий результат: прирост составил примерно 1, 20% на задаче понимания юмора и 1, 3% на задаче распознавания юмора.
Дополнительный анализ на основе взаимной информации показал: представления рассуждений, которые строит CaRGo-T, содержат больше сведений, значимых для итогового ответа, чем представления базовых методов рассуждений. Код проекта авторы выложили в открытом доступе на GitHub.
Ключевые факты
- CaRGo-T (Causal Reasoning Graph-of-Thought) представляет причинные и контекстные связи внутри шутки в виде графа рассуждений, а не линейной цепочки шагов.
- Граф переводится в компактное код-представление, которое читает та же самая или другая VLM, без примеров (zero-shot) или с примерами прямо в запросе (in-context learning).
- Метод проверен на понимании и распознавании юмора (сатира, сарказм, мемы) на четырёх датасетах: прирост около 1, 20% на понимании и 1, 3% на распознавании по сравнению с прежними методами рассуждений.
- Анализ взаимной информации показал: представления CaRGo-T содержат больше сведений, значимых для ответа, чем у базовых методов рассуждений.
- Код проекта выложен в открытом доступе на GitHub.
Почему это важно
Юмор, одна из самых сложных задач для мультимодальных моделей (VLM): шутка часто держится на тонких, неявных связях между тем, что показано на картинке, и тем, что написано в подписи к ней, а обычные текстовые подсказки и линейная цепочка рассуждений (chain-of-thought) такие связи улавливают плохо. CaRGo-T показывает: если явно построить граф причинно-следственных связей внутри шутки, а не просто вести модель по шагам подряд, качество понимания и распознавания юмора вырастает. Дополнительный анализ авторов показывает, что дело не только в итоговых процентах, представления, которые строит CaRGo-T, объективно содержат больше информации, значимой для ответа, чем представления прежних методов рассуждений.
Кому это важно
В первую очередь, исследователям в области обработки языка и компьютерного зрения, которые занимаются рассуждениями мультимодальных моделей: CaRGo-T предлагает воспроизводимую альтернативу линейным цепочкам рассуждений, а код для этого уже опубликован. Полезно это и разработчикам прикладных инструментов на основе VLM, которым нужно распознавать иронию, сарказм или мемы, например, при модерации контента или анализе соцсетей, где важно понимать не буквальный, а подразумеваемый смысл сообщения.
Как это применить
Авторы выложили код CaRGo-T в открытом доступе на GitHub, так что метод можно подключить к собственному пайплайну поверх уже готовой VLM, без её дополнительного обучения. Схема работает в двух режимах: совсем без примеров (zero-shot) или с несколькими примерами прямо в запросе (in-context learning). Построение графа причинных связей и его интерпретацию можно поручить как одной и той же модели, так и разным моделям, например, построить граф более мощной моделью, а интерпретировать более дешёвой.
Можно ли доверять
Это публикация на платформе Hugging Face Papers: источник не указывает ни место окончательной публикации, ни статус рецензирования, ни точную дату выхода. Не названы ни конкретные датасеты, ни конкретные коммерческие и открытые VLM, на которых считался результат, ни метрика, в которой измерен прирост 1, 20% и 1, 3%. Пока публикация набрала на Hugging Face всего 7 отметок и 2 комментария, то есть широкого независимого разбора сообществом она ещё не прошла. При этом код открыт, так что результаты в принципе можно перепроверить самостоятельно.
Риски и подводные камни
Прирост неравномерный и местами скромный: на распознавании юмора это всего 1, 3%, а на понимании разброс очень широкий, от 1% до 20%, и из текста не ясно, идёт ли речь о процентных пунктах или об относительном улучшении к базовому результату. Раз конкретные датасеты и модели не названы, трудно оценить, насколько результат обобщается за пределы четырёх протестированных наборов данных, в других условиях прирост может оказаться меньше или вовсе не воспроизвестись.