Andy Pavlo из CMU возглавил новую лабораторию ClickHouse Labs

Andy Pavlo, с 2013 года профессор компьютерных наук в Carnegie Mellon University, объявил о присоединении к ClickHouse: он создаёт и возглавляет новую исследовательскую группу ClickHouse Labs. Всю карьеру он изучает внутреннее устройство современных СУБД и следит за каждой новой системой, появляющейся в индустрии и науке.

С ClickHouse Pavlo знаком с момента её выхода как open source в июне 2016 года. Тогда его первой реакцией было, что это, скорее всего, вапорвар, слишком хорошо, чтобы быть правдой: СУБД была написана на C++ и поддерживала векторизованное выполнение запросов с SIMD, хотя в 2016 году такие возможности встречались только у отдельных закрытых коммерческих аналитических систем, а большинство открытых аналитических СУБД тогда работали на JVM и получили поддержку SIMD лишь годы спустя. С тех пор Pavlo следил за развитием ClickHouse, использовал её в академических исследованиях и в 2020 году, когда пандемия перевела университетские курсы по базам данных в онлайн, читал первые дистанционные лекции в футболке с логотипом ClickHouse. По его словам, приглашение от сооснователей ClickHouse создать исследовательскую группу стало честью и шансом поработать с одной из сильнейших инженерных команд над СУБД следующего поколения.

Цель ClickHouse Labs, стать исследовательской организацией индустриального уровня, сфокусированной на базах данных. Лаборатория не будет работать изолированно и просто перебрасывать идеи инженерам «через стену», вместо этого она будет тесно сотрудничать с инженерами, клиентами, партнёрами и другими участниками индустрии, чтобы разрабатывать и распространять новые идеи, удерживающие ClickHouse на переднем крае. Отдельное направление, работа с командой ClickHouse, которая развивает управляемый сервис PostgreSQL: цель, сделать его лидером рынка по производительности и надёжности, используя то, что PostgreSQL и ClickHouse закрывают разные классы нагрузок (транзакционные и аналитические) и вместе дают широкую базу для исследований. Ориентир по амбициям Pavlo называет впечатляющим: он хочет добиться того же уровня влияния, что и классические промышленные исследовательские лаборатории вроде IBM Research и Microsoft Research, которые одновременно продвигали фундаментальную науку, влияли на коммерческие продукты и готовили поколения исследователей баз данных.

Инженеры ClickHouse уже давно публикуют подробные технические статьи о внутреннем устройстве системы, с момента основания компании в 2021 году, а также выпустили в 2024 году статью на конференции VLDB с описанием архитектуры СУБД; Pavlo включает эти материалы в список обязательного чтения для своих студентов в CMU. При этом у команды накопился бэклог интересных идей и оптимизаций, которые инженеры уже прорабатывали, но не успели полностью проверить и довести до продакшена, одна из ближайших задач лаборатории состоит именно в том, чтобы ускорить это, а затем на этой основе двигаться дальше, к новым идеям.

Один из более крупных вопросов, которые собирается исследовать лаборатория, как СУБД вроде ClickHouse и PostgreSQL вписываются в развивающиеся ИИ- и агентные технологии. Здесь Pavlo выделяет две стороны: какой должна быть СУБД, чтобы лучше поддерживать работу агентов, и как сами агенты могут улучшать и автоматизировать разработку СУБД. По его словам, открыто всё, новое оборудование, новые алгоритмы, структуры данных, стратегии выполнения запросов и способы разработки и эксплуатации ПО для СУБД. Готовых ответов у него пока нет, именно поэтому это называется исследованием, но он уверен, что прочная реляционная модель, лежащая в основе ClickHouse, хорошо позиционирует систему для развития вместе с такими требовательными к данным нагрузками. В тексте не раскрыты дата фактического начала работы Pavlo в ClickHouse, сохранит ли он профессорскую позицию в CMU, а также размер команды и бюджет новой лаборатории.

Ключевые факты

• Andy Pavlo, профессор компьютерных наук в Carnegie Mellon University с 2013 года, присоединяется к ClickHouse, создаёт и возглавляет новую исследовательскую группу ClickHouse Labs.
• Pavlo следит за ClickHouse с момента её выхода как open source в июне 2016 года; тогда счёл её вапорваром, векторизованное выполнение запросов на C++ с SIMD было редкостью для открытых аналитических СУБД того времени.
• ClickHouse Labs будет тесно работать с инженерами, клиентами и партнёрами компании, а не «перебрасывать идеи через стену»; отдельная задача, помочь управляемому сервису PostgreSQL от ClickHouse стать лидером рынка по производительности и надёжности.
• Одна из ключевых тем исследований лаборатории, как СУБД вроде ClickHouse и PostgreSQL вписываются в ИИ-агентные технологии: какими должны быть базы данных для поддержки агентов и как агенты могут сами улучшать и автоматизировать разработку СУБД.
• Pavlo ориентируется на модель промышленных исследовательских лабораторий вроде IBM Research и Microsoft Research, совмещавших фундаментальную науку с влиянием на реальные продукты.

Почему это важно

ClickHouse, открытая аналитическая СУБД, которая ещё в 2016 году обгоняла по возможностям многие закрытые коммерческие системы. Приглашение профильного исследователя баз данных на позицию руководителя новой лаборатории, заявка на выход за рамки чисто инженерной команды к системным, академического уровня исследованиям СУБД, по образцу IBM Research и Microsoft Research. Это также сигнал, что вопрос «как СУБД должны эволюционировать под ИИ-агентов» становится частью официальной исследовательской повестки крупного вендора баз данных, а не только предметом отдельных дискуссий в индустрии.

Кому это важно

Разработчикам и архитекторам, использующим ClickHouse и PostgreSQL, управляемый сервис которого тоже получит фокус лаборатории; исследователям и студентам в области баз данных, Pavlo уже использует технические статьи ClickHouse и статью VLDB 2024 года как обязательное чтение для своих студентов в CMU; командам, которые проектируют ИИ-агентов и думают о том, как агенты будут взаимодействовать с хранилищами данных.

Как это применить

Готовых продуктов или релизов пока нет, ClickHouse Labs только формируется. Ближайший практический эффект: ускорение доведения до продакшена накопленного бэклога идей и оптимизаций, которые инженеры ClickHouse уже прорабатывали, но не успели завершить; это может повлиять на дорожную карту самого ClickHouse и его managed-сервиса PostgreSQL. Стоит следить за будущими публикациями лаборатории, по словам Pavlo, они продолжат традицию подробных технических статей, которую ClickHouse практикует с 2021 года.

Можно ли доверять

Материал, личный пост-анонс самого Andy Pavlo в блоге ClickHouse, то есть первоисточник от главного действующего лица, а не пересказ третьих лиц. При этом текст не раскрывает организационных деталей: кто именно из сооснователей пригласил Pavlo, дату начала его работы, размер команды или условия, это публичный анонс, а не описание оргструктуры или контракта.

Риски и подводные камни

Источник не сообщает, сохраняет ли Pavlo профессорскую позицию в Carnegie Mellon, каким будет размер и бюджет лаборатории и когда именно он приступает к работе, эти открытые вопросы влияют на то, окажется ли лаборатория весомой инициативой или в основном символической. Сам вопрос о том, как СУБД должны меняться под ИИ-агентов, Pavlo называет открытым, готовых ответов у него пока нет, это заявленное направление исследований, а не завершённый результат.

«Это будет коллаборация нового уровня, как когда Killer Mike объединился с El-P, чтобы создать хип-хоп супергруппу.»

— Andy Pavlo