ParadeDB заявила об ускорении поиска по таблицам Postgres: с 2 минут до 100 мс

ParadeDB заявила об ускорении поиска по таблицам Postgres: с 2 минут до 100 мс

ParadeDB, поисковое расширение для Postgres, опубликовало в блоге разбор «поисковых соединений» (search joins): это поисковые запросы с релевантностью (например, BM25), которые идут сразу по нескольким связанным таблицам. Раньше, как пишут авторы, приходилось выбирать: либо скорость и денормализация данных через хрупкий ETL-процесс в Elasticsearch, либо простота и медленный Postgres, который оценивает и соединяет миллионы строк ради горстки результатов. ParadeDB говорит, что последние несколько месяцев доводила такие запросы до «первоклассной» функции. В собственном тесте на данных StackOverflow многотабличный поисковый запрос, по заявлению компании, быстрее обычного Postgres до 1000 раз: естественный запрос по трём таблицам с Top-K (выдача лучших результатов) падает с 2 минут до 100 мс без дополнительной инфраструктуры.

Пример, модель данных StackOverflow: users (2,3 млн строк), posts (20 млн), comments (29 млн) и badges (29,4 млн). Нужен один запрос, который ищет слово «ocaml» в профиле пользователя, заголовке поста или тексте комментария (условия через OR) и сортирует результаты по сумме оценок релевантности трёх таблиц, лимит 20. Elasticsearch такую запись не поддерживает: придётся разбираться с nested-полями, enrich-процессорами, LOOKUP JOIN с лимитом батча в 10 000 строк, join-полями (только одно на индекс) и всё равно денормализовать пользователей или значки в каждый пост и комментарий. По словам авторов, из-за перекоса распределения данных запись и занимаемое место растут сильнее, чем подсказывают средние размеры строк; денормализованная копия после репликации занимает до 3 раз больше места, и данные приходится писать в две базы.

Почему медленно в обычном Postgres: при сортировке по сумме оценок ни одна таблица не упорядочена по ней, а комментарий без слова «ocaml» может подойти через свой пост или пользователя, поэтому отфильтровать таблицы до соединения нельзя. Postgres должен соединить все 28,5 млн строк, сложить оценки по каждой тройке и только потом отсортировать и взять 20 лучших. Построчный исполнитель к тому же вытаскивает из кучи (heap) все возможные столбцы, даже если строку потом отсечёт LIMIT. На схеме B-Tree + GIN с параллелизмом 8 запрос выполняется около 2 минут (118 000 мс). Ручное переписывание условия OR в 84-строчный UNION ALL по отдельным таблицам в CTE даёт 1,2 с для редкого слова, но для частого время вырастает до 14 с, и кода становится гораздо больше.

Что сделала ParadeDB: индекс объединяет колоночное хранение с BM25 и векторным поиском и хранит ключи соединения и нужные столбцы прямо в индексе. Распознав поисковое соединение, расширение через хуки планировщика Postgres перехватывает план и отдаёт всё многотабличное соединение с LIMIT / GROUP BY (а также DISTINCT, OVER, FILTER и др.) собственному колоночному исполнителю на Apache DataFusion. Остальные запросы идут через штатные планировщик и исполнитель; для ускоряемых запросов, как утверждают авторы, проводится обширное property-тестирование на эквивалентность Postgres. DataFusion расширили так, что через соединения идут только компактные внутренние идентификаторы документов и ключи (столбцы подгружаются позже, селективная поздняя материализация), а проверки MVCC-видимости откладываются до того, как соединения сузят набор строк, причём сначала смотрится Visibility Map в памяти, а не куча.

Ключевая новинка для Top-K, оператор Rank Join, появившийся в версии 0.26.4. Он не соединяет таблицы целиком, а читает входные потоки в порядке убывания оценки и накапливает кандидатов. Для каждого потока известна нижняя из уже виденных оценок, и она служит верхней границей для ещё не увиденных строк; как только ни один частичный кандидат не может обогнать текущие лучшие 20, оператор останавливается. Базовая форма плоха, когда оценки падают медленно или у высокооценённого поста автор вообще не содержит искомого слова: тогда приходится читать тысячи строк. Поэтому, опираясь на научные работы, добавили произвольный доступ: частичные кандидаты запускают точечный поиск по ключу в индексе соседней таблицы и сразу узнают точную оценку партнёра (0,0, если слова нет). Оператор потоковый, его можно ставить друг над другом для трёх таблиц, а столбцы вроде display_name и title материализуются только для финальных 20 строк.

Итог по замерам компании: Rank Join в 0.26.4 выполняет исходный естественный SQL за 100-600 мс на одном ядре при любой селективности, в 12-50 раз быстрее 84-строчного UNION ALL и, по словам авторов, в пределах полностью денормализованного набора данных. Планы Postgres в сравнении шли до 8 параллельных воркеров, а Rank Join пока работает на одном ядре; распараллеливание и копартиционирование обещают в будущих версиях, без сроков. Второй раздел статьи, про агрегаты (фасеты) без обращения к куче, в доступном тексте обрывается, поэтому цифр по нему здесь нет.

Ключевые факты

  • ParadeDB описала «поисковые соединения»: BM25-поиск по нескольким нормализованным таблицам Postgres без денормализации и без внешнего Elasticsearch.
  • В собственном тесте на данных StackOverflow запрос по трём таблицам с Top-K 20 сократился примерно с 2 минут (118 000 мс) до 100 мс; общая заявка, «до 1000 раз» быстрее обычного Postgres.
  • Запросы перехватываются через хуки планировщика Postgres и выполняются колоночным исполнителем на Apache DataFusion; новый оператор Rank Join появился в версии 0.26.4 и останавливается, как только лучшие 20 результатов гарантированы.
  • Rank Join даёт 100-600 мс на одном ядре, что в 12-50 раз быстрее ручного 84-строчного переписывания через UNION ALL (1,2-14 с); распараллеливание обещано позже, без сроков.
  • Замеры сделаны самой компанией, остальные запросы Postgres остаются на штатном исполнителе.

Почему это важно

Многотабличный поиск по релевантности, типичная боль: данные нормализованы, а поиск требует либо денормализации в отдельный движок, либо медленных запросов. ParadeDB утверждает, что естественный SQL по трём таблицам можно выполнять за 100 мс вместо двух минут, не заводя Elasticsearch и ETL. Если это подтвердится на ваших данных, из архитектуры уходят вторая база, двойная запись и до 3 раз больший объём хранения денормализованной копии.

Кому это важно

Командам, у которых поиск живёт поверх Postgres с несколькими связанными таблицами (пользователи, посты, комментарии и подобное), и тем, кто сейчас держит Elasticsearch ради поиска по денормализованной копии. Также тем, кто писал громоздкие UNION ALL, чтобы обойти медленные соединения.

Как это применить

Запрос пишется обычным SQL: соединения таблиц, условия поиска через оператор |||, сортировка по сумме pdb.score() по таблицам и LIMIT. Rank Join доступен в ParadeDB версии 0.26.4. Условия лицензирования и цены в тексте не названы. Практический шаг, прогнать свои типичные Top-K-запросы на тестовой копии и сравнить с текущим решением; учтите, что Rank Join пока работает на одном ядре.

Можно ли доверять

Это блог самого вендора, а бенчмарк, его собственный; независимой проверки в доступном тексте нет. Цифра «до 1000 раз», верхняя граница, а какой именно запрос её даёт, кроме примера «2 минуты → 100 мс», не сказано. Параметры железа, настройки Postgres (кроме параллелизма 8) и источник набора данных не приведены. Текст обрывается до раздела про агрегаты, поэтому их замеры не оценить.

Риски и подводные камни

Ускорение показано на одном наборе данных и одном виде запросов; на других схемах и распределениях результат может отличаться. Rank Join пока работает на одном ядре, а распараллеливание отнесено на будущие версии без сроков. Сравнение идёт с обычным Postgres на B-Tree + GIN и с ручным UNION ALL, а не с настроенным Elasticsearch. Для ускоряемых запросов эквивалентность Postgres заявлена на основании property-тестов самой компании, независимо это не проверено.