Перевод юридических текстов в онтологии теряет часть их смысла, предложен способ это измерить

Ключевые факты

• Методология оценки: сравнивается, насколько хорошо языковая модель решает задачу по исходному тексту документа и насколько хуже, опираясь только на преобразованное (онтологическое) представление; разница и есть мера потери смысла.
• Подход продемонстрирован на анализе юридических соглашений о слияниях, область выбрана из-за сложного языка и высоких требований к точности смысла.
• Прямое применение языковой модели к исходному тексту сравнили с тремя методами построения онтологий; сравнение прогнали на шести языковых моделях.
• Потеря смысла оказалась системной и заметно варьируется в зависимости от сложности рассуждения и от конкретного сочетания модели с методом построения онтологии.
• Авторы заявляют два вклада: саму методологию оценки сохранения смысла и доказательство того, что потеря смысла резко зависит от пары «модель + метод», это ориентир для выбора конфигурации в юридических системах работы со знаниями.

Почему это важно

Юридические тексты, договоры, соглашения, нормативные акты, всё чаще переводят в структурированные онтологии, чтобы над ними могли работать автоматизированные системы рассуждения: такое представление проще проверять и обрабатывать программно, чем сырой текст. Проблема в том, что качество такого перевода до сих пор проверяли только по структурной корректности, соответствует ли результат нужной схеме, а не по тому, сохранился ли реальный смысл исходного документа. Это разные вещи: онтология может быть безупречно оформлена и при этом незаметно потерять или исказить смысловые нюансы, критичные для юридического анализа. Предложенный в статье способ измерения закрывает именно этот пробел: он ловит потерю смысла не через ручную проверку структуры, а через то, ухудшается ли реальное качество решения задачи, когда модель работает с преобразованным представлением вместо исходного текста.

Кому это важно

В первую очередь, исследователям, которые занимаются построением онтологий и извлечением знаний из текста: у них появляется способ измерить то, что раньше не измерялось напрямую, а только косвенно, через структурную корректность. Дальше, разработчикам юридических систем на основе баз знаний: инструментов для автоматизированного анализа контрактов, комплексной проверки при сделках слияния и поглощения, любых систем, которые сначала переводят юридический текст в структурированный вид, а потом рассуждают уже над ним. Раз результаты показывают, что потеря смысла зависит от того, какая модель сочетается с каким методом построения онтологии, работа важна и всем, кто выбирает связку «модель + метод» для собственного процесса извлечения знаний из документов.

Как это применить

У работы нет готового продукта или инструмента для скачивания, это методология оценки, которую можно повторить на своих данных. Практический рецепт такой: возьмите собственный процесс построения онтологии из текста, прогоните одну и ту же задачу дважды, один раз давая модели исходный документ, второй раз давая ей только онтологическое представление, и сравните качество решения. Разница и будет вашей собственной оценкой потери смысла, по которой можно сравнивать разные связки «модель + метод построения онтологии», прежде чем выбранная связка окажется в реальной эксплуатации. Важная оговорка: в тексте статьи не названы ни три сравниваемых метода построения онтологий, ни шесть проверенных языковых моделей, поэтому взять готовую «лучшую» связку прямо отсюда не получится, работа показывает, что выбор сильно влияет на результат, но не говорит, какой именно выбор лучший.

Можно ли доверять

Это препринт на arXiv: в доступном тексте нет ни имён авторов, ни их организаций, ни даты подачи, ни сведений о рецензировании или месте публикации, проверить эти данные по нему нельзя. Сама идея измерения, через падение качества решения задачи при переходе от исходного текста к его онтологическому представлению, методологически разумна и не требует сложных допущений. Но в тексте нет ни одного числового значения потери смысла: слова «системная», «значительная», «резко», качественные оценки, не подкреплённые цифрами в самом описании. Не названы ни три сравниваемых метода построения онтологий, ни шесть языковых моделей, ни то, какая именно связка модели и метода оказалась лучшей или худшей, ни то, как измерялась «сложность рассуждения», ни размер выборки, например, число проанализированных соглашений о слияниях. Общая методологическая идея выглядит надёжной, но проверить её фактическую строгость и масштаб эффекта по одному этому описанию нельзя, для этого нужен полный текст статьи.

Риски и подводные камни

Главный риск для читателя, принять качественные слова «системная потеря» и «резкая зависимость» за количественный результат: без цифр невозможно понять, насколько велика потеря смысла на практике и стоит ли она беспокойства. Демонстрация ограничена одним типом юридических документов, соглашениями о слияниях; перенесётся ли методология и её выводы на другие юридические тексты или на построение онтологий вне права, из описания не следует. Более широкий практический риск касается всех, кто уже полагается на онтологии при автоматизации юридической работы: раз потеря смысла оказалась системной, а не случайной, ни одну такую систему нельзя по умолчанию считать надёжной, сохранение смысла нужно проверять отдельно для своих задач, а не полагаться на структурную корректность онтологии как на гарантию.

«Структурируя информацию, мы рискуем её потерять.»

— авторы работы