Waymark: движок фоновых задач на Postgres компилирует код вместо повтора

Waymark: движок фоновых задач на Postgres компилирует код вместо повтора

Waymark, библиотека для надёжных фоновых задач, которые переживают перезапуски серверов, падения задач и долгие вычисления. Она построена на Postgres и не требует другой инфраструктуры. Первый поддерживаемый язык, Python, остальные, как сказано в README, «на подходе» (какие именно, не уточняется). Проект показали на Show HN.

Главное отличие от Temporal и Vercel Workflow, архитектура. Те движки при восстановлении заново прогоняют код рабочего процесса (replay). Waymark при первом запуске или постановке в расписание компилирует метод run() рабочего процесса: Python-SDK разбирает его AST и строит промежуточное представление (IR), которое описывает цикл, условия и параллельные ветки. Затем IR превращается в байткод для «надёжной» виртуальной машины. Рантайм на Rust исполняет байткод и по ходу делает снимки состояния ВМ в Postgres, поэтому после сбоя процесс продолжается с того же места. Исходное определение рабочего процесса при восстановлении никогда не исполняется повторно.

Практическое следствие, по словам авторов: если процесс скомпилировался, он будет работать как задумано. Не нужно обходить недетерминированные вызовы стандартной библиотеки (время, uuid и т. п.): компилятор выдаст ошибку и попросит вынести их в явное действие (action). Несколько шаблонов кода пока проходят мимо компилятора; они перечислены в известных проблемах и отслеживаются в задаче №772.

Модель программирования: действия (actions), это распределённая работа, обычные асинхронные функции (сетевые вызовы, запросы к базе, всё, что может упасть и должно повторяться независимо); они уходят на воркеры. Рабочий процесс (workflow), надёжный управляющий поток: циклы, условия, параллельные ветки. Это обычный async-код Python, без DAG-описаний и собственного синтаксиса. В примере из README процесс рассылает приветственные письма: получает пользователей, отфильтровывает неактивных и параллельно через asyncio.gather шлёт письма активным. Запуск процесса из любого Python-кода ставит его в очередь в Postgres, а исполняет отдельный узел, waymark-executor. Выполняется всё не внутри веб-сервера.

Среди возможностей: повторы и таймауты на каждый вызов (по умолчанию действие выполняется один раз, как обычная функция; через self.run_action(...) задаётся политика, например attempts=5, backoff_seconds=10 и таймаут 2 минуты, это пример из README, а не значения по умолчанию); ветвления и циклы if/elif/else, for, while; параллельный запуск через asyncio.gather; durable-пауза asyncio.sleep, переживающая перезапуски, хоть на секунду, хоть на сутки; расписания по cron или с фиксированным интервалом без дополнительной инфраструктуры; встроенное веб-приложение с экземплярами процессов, таймлайном вызовов и нагрузкой на узлы (включается WAYMARK_HTTP_ENABLED=true, по умолчанию в примере доступно на localhost:24119). Есть и обёртка над pydantic-ai для объявления ИИ-агентов. Клиентские и серверные бинарники поставляются одним Python-пакетом (uv add waymark).

Мотивацию автор формулирует так: после трёх лет проб большинства решений он считает, что фоновые задачи должны быть примитивом полнофункционального фреймворка, иметь управляющий поток в виде обычного кода, легко тестироваться локально и разворачиваться удалённо и масштабироваться на разумные объёмы без тонкой настройки. Существующие надёжные очереди, по его мнению, почти все требуют отдельного брокера задач рядом с приложением, облачные версии тарифицируются за событие и могут стать очень дорогими, а логику приходится подгонять под соглашения фреймворка.

Где применять: уже используется Postgres и поддерживаемый язык; много асинхронной тяжёлой логики, которую нужно делать надёжной и повторять при сбоях (вызовы сторонних API, задачи с базой); важно, чтобы локально всё работало так же, как удалённо; нужна совместимость с привычными юнит-тестами и статическим анализом; приоритет, выйти на соответствие продукта рынку, а не масштаб. Где не стоит: задачи, чувствительные к задержке (нужно подтверждение и обработка каждой задачи быстрее 100 мс); огромный масштаб, порядка более 10 тысяч одновременно координируемых действий; случаи, когда уже нужно масштабироваться ещё в 10 раз относительно текущего решения. Авторы прямо пишут, что не ждут от Waymark лучших в классе показателей нагрузки, хотя производительность называют одним из главных приоритетов (ядро на Rust и непрерывные бенчмарки в CI). Temporal и RabbitMQ они называют отличным выбором для других масштабов, с более высокой сложностью настройки и сопровождения.

Важная оговорка: сейчас Waymark не стоит использовать в боевых приложениях. Спецификация быстро меняется, обратная совместимость до версии 1.0.0 не гарантируется. Авторы приглашают пробовать его в pet-проектах и заводить задачи, если нужный рабочий процесс не компилируется. Для сборки из исходников нужны Node.js и npm, потому что веб-приложение встроено в waymark-executor.

Ключевые факты

  • Waymark, открытая библиотека надёжных фоновых задач на Postgres без отдельного брокера; ядро на Rust, первый язык, Python.
  • Вместо повторного исполнения кода (как у Temporal и Vercel Workflow) метод run() компилируется в промежуточное представление и байткод; состояние виртуальной машины снимками пишется в Postgres.
  • Недетерминированные вызовы (время, uuid) отлавливаются ошибкой компиляции с просьбой вынести их в явное действие; часть шаблонов пока проходит мимо компилятора (задача №772).
  • Не подходит для задач с подтверждением быстрее 100 мс и для более чем 10 тысяч одновременно координируемых действий; лучших показателей нагрузки авторы не обещают.
  • Проект пока нельзя использовать в боевых приложениях: спецификация меняется, совместимость до 1.0.0 не гарантируется.

Почему это важно

Большинство движков надёжных рабочих процессов опирается на повторное исполнение кода, из-за чего он обязан быть детерминированным. Waymark пробует другой путь: компилировать поток управления в байткод и сохранять состояние виртуальной машины в Postgres. Если подход сработает, он снимет типичные ограничения replay-моделей и избавит от отдельного брокера задач. Пока это ранний проект: показан на Show HN и сам предупреждает о нестабильности.

Кому это важно

Python-разработчикам, у которых уже есть Postgres и которым нужны надёжные фоновые задачи: вызовы сторонних API, задачи с базой данных, рассылки, отложенные действия по расписанию. Также тем, кто присматривается к альтернативам Temporal и ищет что-то проще в развёртывании и тестировании. Командам с высокой нагрузкой или жёсткими требованиями к задержке проект по описанию авторов не подходит.

Как это применить

Пакет ставится командой uv add waymark. Действия объявляются как обычные async-функции с декоратором action, рабочий процесс, как класс с методом run. Затем задаются WAYMARK_DATABASE_URL (и при желании WAYMARK_HTTP_ENABLED=true для веб-приложения) и запускается waymark-executor. Запуск процесса, обычный вызов из Python-кода. Повторы и таймауты добавляются через self.run_action(...), расписания, через schedule_workflow. Авторы советуют пробовать проект в побочных проектах, а не в боевой среде. О лицензии и цене в источнике ничего не сказано.

Можно ли доверять

Источник, README самого проекта, то есть описание глазами авторов. Бенчмарков и сравнительных цифр с Temporal или другими движками в нём нет, лишь заявление о непрерывных бенчмарках в CI. Критика конкурентов (цена облачных версий, сложность настройки), мнение автора README. Сами авторы честно предупреждают, что проект не готов к боевому использованию.

Риски и подводные камни

Обратная совместимость не гарантируется до 1.0.0, спецификация быстро меняется. Часть шаблонов кода пока не ловится компилятором (известные проблемы, задача №772), а рабочий процесс ограничен подмножеством Python, которое умеет разбирать SDK. Потолок производительности задаёт Postgres: авторы сами советуют переходить на более сложную архитектуру при его перегрузке. Сборка из исходников требует Node.js и npm. Поддержка других языков, кроме Python, не датирована.

«Сейчас не стоит использовать waymark ни в каких боевых приложениях.»

— README проекта Waymark