MEM-SQL и бенчмарк HARE: память о прошлых запросах повышает точность Text-to-SQL

Системы Text-to-SQL переводят вопросы на естественном языке в SQL-запросы к всё более сложным базам данных. По мнению авторов статьи, популярные бенчмарки оценивают каждый вопрос независимо и упускают ситуацию, когда ранее написанные запросы к той же базе могут подсказать соединения (join) или вычисления для нового вопроса.
Для этого авторы вводят бенчмарк HARE (History-AwaRe Text-to-SQL BEnchmark), который измеряет точность и стоимость адаптации исторических SQL-запросов. В нём 1 600 запросов-заданий, выведенных из фиксированного набора из 823 проверенных запросов по четырём наборам данных. Разметка фиксирует, какие компоненты каждое задание сохраняет и какие правки требует, и тем самым отличает адаптацию запроса целиком от частичного переиспользования.
Предложенный метод MEM-SQL (Memory-EMpowered Text-to-SQL) хранит три вида памяти: шаблоны целых запросов, переиспользуемые блоки SQL и соответствия между понятиями предметной области и элементами схемы базы. Слой памяти применяется, только если для каждого требования, закреплённого за этим слоем, найдено совпадение выше порога этого слоя. Механизм On-demand Schema Linking (OSL, привязка к схеме по требованию) обращается к схеме базы лишь тогда, когда ни один слой не подошёл или генератор счёл найденные свидетельства недостаточными.
Результаты: по шести языковым моделям на HARE средняя точность исполнения выросла с 37,1% у прямой генерации без истории до 50,0% у MEM-SQL. При этом в среднем на 76,6% меньше входных токенов и на 68,8% ниже задержка.
Дальнейший анализ показал, что узкое место, задания, где нужно переиспользовать сразу несколько проверенных запросов: точность на них падает с 56,7% до 29,7%. Резче всего падение там, где повторно используемые компоненты нужно поместить в новую структуру запроса или объединить через общее соединение. Применение OSL к трём другим вариантам устройства памяти стабильно снижает стоимость генерации, а вот выигрыш в точности зависит от устройства памяти. Итог авторов: проверенная история может сделать генерацию и точнее, и дешевле, но ценность истории зависит от того, какие свидетельства сохраняются и когда система обращается к схеме.
Ключевые факты
- HARE, новый бенчмарк для Text-to-SQL с учётом истории: 1 600 заданий из 823 проверенных запросов по четырём наборам данных, с разметкой того, что сохраняется и что правится.
- MEM-SQL хранит шаблоны целых запросов, блоки SQL и соответствия понятий элементам схемы; слой применяется только при совпадении выше его порога.
- По шести языковым моделям средняя точность исполнения выросла с 37,1% (прямая генерация без истории) до 50,0%; входных токенов в среднем на 76,6% меньше, задержка ниже на 68,8%.
- Задания с переиспользованием нескольких проверенных запросов остаются узким местом: точность падает с 56,7% до 29,7%.
- OSL у трёх других вариантов памяти стабильно снижает стоимость генерации, но прирост точности зависит от устройства памяти.
Почему это важно
Обычные бенчмарки Text-to-SQL проверяют каждый вопрос отдельно, хотя в реальной работе с базой уже накоплены проверенные запросы, из которых можно взять соединения и вычисления. HARE измеряет именно такую адаптацию истории, а MEM-SQL показывает, что память о проверенных запросах одновременно повышает точность и сокращает расход токенов и задержку. Средняя точность исполнения по шести моделям выросла с 37,1% до 50,0%.
Кому это важно
Исследователям Text-to-SQL, которым нужен способ оценивать системы с учётом накопленной истории запросов. Командам, которые строят аналитические ассистенты над корпоративными базами: у них уже есть проверенные запросы, и работа показывает, как их можно переиспользовать. Тем, кто считает затраты на генерацию: снижение входных токенов на 76,6% и задержки на 68,8% в среднем, заметная экономия.
Как это применить
Из аннотации следует общая схема: хранить не только готовые запросы, но и переиспользуемые блоки SQL и соответствия понятий предметной области элементам схемы, а к схеме базы обращаться только тогда, когда память не даёт достаточных свидетельств. Слой памяти включать лишь при совпадении выше порога по всем закреплённым за ним требованиям. Сведений о доступности кода и данных в тексте нет, поэтому оценить готовность к внедрению по нему нельзя.
Можно ли доверять
Это препринт: оценка и бенчмарк предложены одними и теми же авторами, независимой проверки в тексте нет. В источнике не названы авторы и организации, не перечислены шесть языковых моделей и четыре набора данных, нет результатов по отдельным моделям. Неясно также, в каких именно терминах сравниваются 76,6% и 68,8%: это средние показатели относительно прямой генерации без истории.
Риски и подводные камни
Сами авторы отмечают, что задания с несколькими проверенными запросами остаются узким местом: точность там падает с 56,7% до 29,7%, особенно когда компоненты нужно поместить в новую структуру запроса или объединить через общее соединение. Выигрыш от OSL в точности зависит от устройства памяти: стоимость снижается стабильно, а точность не всегда. Ценность истории зависит от того, какие свидетельства сохраняются и когда система обращается к схеме. Результаты получены на HARE, то есть на заданиях, построенных из фиксированного набора проверенных запросов.
«Проверенная история может сделать генерацию одновременно более точной и более дешёвой, но её ценность зависит от того, какие свидетельства сохраняются и когда система обращается к схеме.»
— из аннотации статьи