Интеллект дешевеет до нуля: что это значит для систем управления данными в эпоху ИИ-агентов

В блоге BAIR (Berkeley Artificial Intelligence Research) вышел перспективный обзор профессора UC Berkeley Адитьи Парамесварана (содиректора EPIC Data Lab) и его соавторов о будущем систем управления данными в мире, где интеллект языковых моделей практически бесплатен. Авторы приводят цифры: в начале 2023 года возможности уровня GPT-4 стоили около 30 долларов за миллион токенов, сегодня, меньше 1 доллара, а некоторые провайдеры уже опускаются ниже 10 центов; по разным бенчмаркам цены на инференс падают в 9, 900 раз в год, медианное снижение, около 50 раз. Авторы утверждают, что интеллекта, достаточного для подавляющего большинства интеллектуального труда, уже хватает и он продолжает дешеветь ежемесячно.

Из этого тренда авторы выводят три взаимосвязанных вызова для систем данных.

Первый, «системы данных для агентов». Агент работает с базой данных иначе, чем человек или BI-инструмент: он занимается «агентной спекуляцией», массовым перебором вариантов (изучение схемы, разведка колонок, черновые и финальные формулировки запросов), и один пользовательский запрос может порождать тысячи SQL-запросов от разных агентов. По данным авторов, на одном бенчмарке text-to-SQL с несколькими агентами лишь 10, 20% под-планов оказываются уникальными, то есть 80, 90% подзапросов дублируют друг друга; при этом успех задачи растёт с числом попыток, так что избыточность помогает результату, но расходует ресурсы впустую. Предлагаемые решения: переиспользование результатов между пересекающимися планами (по аналогии с multi-query optimization и shared scans), приближённые вычисления (approximate query processing), потоковая отдача промежуточных результатов, пакетная подача запросов с индивидуальными допусками на точность, отказ от построчного перечисления SQL в пользу высокоуровневых примитивов (например, циклических конструкций в духе DBT/Jinja-макросов), а также «проактивные» СУБД, которые сами подсказывают агенту направление поиска, дают оценку задержки заранее или готовят материализованные и виртуальные представления заранее.

Второй вызов, «системы данных из агентов»: инфраструктура (субстрат), на которой тысячи агентов хранят состояние в долгих задачах, координируются и переживают сбои. Сегодняшний стандарт, «файлы решают всё»: агенты пишут заметки в markdown, которые ищутся через grep или эмбеддинги, и предполагается, что для непрерывного обучения агенту достаточно «прочитать» весь код, переписку в Slack, вики компании и записать выводы в такие файлы. Авторы считают, что при массовом использовании агентами этот подход не масштабируется: ограниченное окно контекста не позволяет тащить туда все релевантные фрагменты, а для по-настоящему больших баз данных и кодовых баз сериализовать всё в контекст вообще невозможно. Альтернатива, структурированная память с явными атрибутами (таблицы и колонки, тип операции, открытый текстовый совет), которая выдаёт агенту не сырые логи с чужими ошибками (это лишь провоцирует повтор ошибок), а корректирующие инструкции, например, «для дат используй финансовый, а не календарный год» или «для имени товара предпочитай колонку product_cleaned, а не product». Отдельная проблема, параллельные правки общей памяти тысячами агентов одновременно: авторы упоминают multiversioning, copy-on-write, CRDT и операционные преобразования, но подчёркивают, что для по-настоящему массового параллелизма таких техник может не хватить, а неудачные схемы компенсации приводят к «livelock», состоянию, когда бесконечные компенсирующие действия блокируют реальный прогресс. Также встают вопросы обработки сбоев агентов, «отстающих» агентов и переговоров между агентами, например, как четырём агентам-разработчикам договориться об общей схеме данных с частично пересекающимися целями.

Третий вызов, обозначенный в статье, «системы данных агентами»: агенты уже способны с нуля синтезировать целые системы данных под конкретную задачу, но остаётся нерешённой проблема, как проверить, что сгенерированная система действительно ведёт себя так, как задумано, чтобы ей можно было доверять.

Ключевые факты

Цены на инференс LLM падают в 9, 900 раз в год (медиана около 50 раз): уровень GPT-4 стоил ~30$/млн токенов в начале 2023 года, сейчас, меньше 1$, у некоторых провайдеров ниже 10 центов
Авторы выделяют три вызова для систем данных: для агентов (агентная спекуляция и массовые дублирующие SQL-запросы), из агентов (память, координация и сбои роя агентов) и агентами (синтез целых систем данных агентами)
На бенчмарке text-to-SQL с несколькими агентами лишь 10, 20% под-планов уникальны, 80, 90% подзапросов дублируют друг друга, хотя избыточность повышает шанс успеха задачи
Предлагается отказаться от markdown-памяти на grep/эмбеддингах в пользу структурированной памяти по атрибутам (таблица, тип операции), выдающей агенту корректирующие советы, а не сырые логи с ошибками
Параллельные правки общей памяти тысячами агентов, нерешённая проблема; неудачные схемы компенсации ошибок приводят к «livelock», блокирующему прогресс

Почему это важно

Материал фиксирует смену парадигмы: если интеллект языковых моделей быстро приближается к «практически бесплатному», основным потребителем баз данных и систем хранения скоро станут не люди и BI-дашборды, а рои автономных агентов, генерирующие на порядки больше запросов иного характера (массовый перебор, а не единичные точные запросы). Это требует пересмотра архитектуры СУБД, памяти и механизмов координации, тема выходит за рамки конкретного продукта и касается всей инфраструктуры данных под ИИ-агентов.

Кому это важно

Материал адресован разработчикам систем управления базами данных и инфраструктуры данных, инженерам, строящим агентные платформы и мультиагентные системы (память, координация, устойчивость к сбоям), а также исследователям в области ИИ-агентов и баз данных, которые ищут открытые направления для работы.

Как это применить

Инженерам агентных систем стоит присмотреться к конкретным техническим идеям из статьи: приближённые вычисления и потоковая отдача промежуточных результатов вместо ожидания полного ответа; батчинг запросов с индивидуальными допусками точности вместо перечисления SQL построчно; высокоуровневые примитивы (в духе Jinja-макросов DBT) вместо ручной генерации тысяч похожих запросов агентами; и, для памяти агентов, переход от markdown-заметок и эмбеддингов к структурированной памяти с явными атрибутами (таблица, тип операции) и корректирующими, а не сырыми, инструкциями.

Можно ли доверять

Это авторский перспективный обзор (landscape survey + мнение) от профессора UC Berkeley Адитьи Парамесварана, содиректора EPIC Data Lab, и его соавторов, опубликованный на официальном блоге BAIR (Berkeley Artificial Intelligence Research), авторитетной академической площадки. Материал прямо помечен как частично опирающийся на собственные незавершённые исследования авторов (агентная спекуляция, структурированная память, синтез систем данных с нуля), то есть часть тезисов, не проверенные независимо результаты, а исследовательская программа и гипотезы.

Риски и подводные камни

Большинство предложенных решений (проактивные СУБД, структурированная память, примитивы для батчинга), исследовательские направления, а не готовые к внедрению системы. Проблема параллельных правок общей памяти тысячами агентов авторы сами называют нерешённой, а риск «livelock», конкретной ловушкой при неудачной реализации компенсирующих механизмов. Вопрос доверия к системам данных, синтезированным самими агентами «с нуля», авторы прямо называют открытым: как это верифицировать, не указано. Цифры о падении цен на инференс, экстраполяция текущего тренда, а не гарантия того, что снижение продолжится теми же темпами.

«Важный сбой, которого нужно избегать, это форма «livelock», когда непрекращающиеся компенсирующие действия не дают достичь реального прогресса.»

— Адитья Г. Парамесваран и соавторы, блог BAIR (UC Berkeley)