Experiential, открытый шлюз для ИИ-агентов, который превращает трафик в свой роутер или модель

Experiential, открытый шлюз для ИИ-агентов, который превращает трафик в свой роутер или модель

На Hacker News в разделе Show HN представили Experiential, шлюз и роутер с открытым исходным кодом для агентных сценариев на базе языковых моделей. Один OpenAI-совместимый API объединяет три источника моделей: облачные (hosted), модели по принципу BYOK (bring your own key, «используй свой ключ», то есть подключаешь собственные ключи провайдеров) и локальные модели. Владелец шлюза может ограничивать, каким пользователям и агентам какие модели доступны, для каких сценариев и на какую сумму они могут тратить.

Ключевая особенность инструмента, не просто проксировать запросы, а превращать накопленный производственный трафик в собственный роутер, оптимизированный по качеству, скорости и цене, либо в дообученную модель. Для этого сначала собираются OpenTelemetry-трейсы использования, свои или тестовый публичный набор трейсов terminal-tasks с Hugging Face. Команда «exp build» проводит через выбор провайдеров, моделей и бюджета, запрашивает файл трейсов, строит на его основе симуляцию и оптимизирует под неё роутер. Команда «exp optimize model» идёт дальше: по тем же трейсам дообучает открытую модель, которой владеет сам пользователь, с помощью внешнего инструмента Tinker.

Локально шлюз ставится командой «pip install experiential» и запускается командой «exp»: мастер настройки на первом запуске проводит через общие селекторы провайдера, модели и уровня рассуждений (reasoning effort), сохраняет каждое выбранное подключение к провайдеру и показывает значения по умолчанию, публичный алиас, идентификатор и бюджет команд $50.00, перед тем как напечатать одноразовый ключ доступа. Дальше пользователь выбирает публичный алиас модели (например, opus-5) и обращается к нему как к обычному OpenAI-совместимому эндпоинту на localhost. Скомпилированный нативный модуль обработки трафика (data plane) обслуживает все маршруты локально, на loopback-адресе. Вместо локального запуска можно использовать облачную платформу platform.experientiallabs.ai: её API по адресу api.experientiallabs.ai/v1 совместим и с OpenAI, и с Anthropic Messages API. Файл SETUP.md содержит четыре готовых промпта, которые можно скопировать в кодового ИИ-агента (Claude Code, Cursor, Codex и подобные), агент создаст аккаунт по email и сам проведёт настройку: загрузит существующие LLM-трейсы как телеметрию, подключит собственные ключи провайдеров (OpenAI, Anthropic, Gemini, Azure, Bedrock, Fireworks, OpenRouter, в этом случае запросы идут к провайдеру напрямую и бесплатно), сделает первый вызов через шлюз или полностью настроит проект: подключит ключи, перенесёт данные о тратах и переключит на шлюз все используемые кодовые агенты, включая Aider или Conductor.

По умолчанию проект включает анонимную агрегированную телеметрию использования через PostHog; по описанию авторов, она никогда не включает промпты, трейсы, действия, наблюдения, пути, названия моделей, учётные данные или содержимое запросов пользователя. Статус телеметрии можно проверить и отключить командой «exp config telemetry» (настройка хранится локально, в файле .exp/settings.toml).

Ключевые факты

  • Experiential, open-source шлюз и роутер для ИИ-агентов: один OpenAI-совместимый API для облачных, BYOK (свой ключ) и локальных моделей, с ограничением доступа и трат по пользователям и агентам.
  • Отличие от обычного прокси: команда «exp build» превращает собранные OpenTelemetry-трейсы использования в собственный роутер, оптимизированный по качеству, скорости и цене, а «exp optimize model», в дообученную открытую модель через инструмент Tinker.
  • Локальный запуск: «pip install experiential», затем команда «exp»; мастер настройки по умолчанию показывает бюджет команд $50.00 перед выдачей одноразового ключа доступа.
  • Облачная альтернатива, platform.experientiallabs.ai с API, совместимым и с OpenAI, и с Anthropic Messages API; файл SETUP.md даёт четыре готовых промпта, чтобы кодовый ИИ-агент (Claude Code, Cursor, Codex, Aider) сам настроил себе шлюз.
  • Телеметрия использования через PostHog включена по умолчанию, но, по заявлению авторов, не собирает промпты и содержимое запросов; отключается командой «exp config telemetry disable». Материал не называет ни лицензию проекта, ни компанию или команду за ним, только домены experientiallabs.ai и аккаунт experiential-labs на Hugging Face.

Почему это важно

В оригинальном заголовке на Hacker News авторы сами описали свой проект как «открытый OpenRouter, который превращает использование в лучшую модель», и это довольно точно описывает суть. Experiential не просто переключает вызовы между провайдерами моделей, а даёт способ превратить реальный трафик агентов в собственный оптимизированный роутер или в дообученную модель, которой владеет сам пользователь. Плюс к этому, тонкий контроль доступа и трат: кто из пользователей и агентов какие модели может вызывать, для каких сценариев и с каким бюджетом.

Кому это важно

В первую очередь, командам, у которых уже несколько ИИ-агентов или сервисов работают на разных провайдерах моделей (облачных и локальных) и которые хотят свести доступ, бюджеты и вызовы к одной точке входа. Также, тем, у кого уже накоплен продакшен-трафик LLM-вызовов и кто хочет заменить дорогой вызов большой универсальной модели на более дешёвый специализированный роутер или собственную дообученную модель под конкретные задачи. Отдельно инструмент рассчитан на пользователей кодовых ИИ-агентов: Claude Code, Cursor, Codex, Aider, SETUP.md прямо предлагает переключить их все на единый управляемый шлюз.

Как это применить

Быстрый локальный старт: «pip install experiential», затем «exp», мастер настройки задаёт провайдера, модель и уровень рассуждений, выдаёт публичный алиас (например, opus-5) и одноразовый ключ, дальше вызовы идут как к обычному OpenAI-совместимому эндпоинту на localhost. Не хочется держать сервис локально, есть облачная платформа platform.experientiallabs.ai с тем же API, плюс совместимость с Anthropic Messages API. Проще всего, скопировать готовые промпты из SETUP.md в своего кодового агента и дать ему самому подключить ключи провайдеров и переключить остальные агенты на шлюз. Чтобы получить собственный роутер или модель: собрать OpenTelemetry-трейсы использования (или взять публичный тестовый набор terminal-tasks с Hugging Face) и запустить «exp build» для роутера или «exp optimize model», для дообученной модели через Tinker.

Можно ли доверять

Материал, это README проекта, а не независимый обзор: все цифры и утверждения в нём исходят от самих авторов. Кто именно стоит за Experiential, в тексте не сказано, только домены experientiallabs.ai / api.experientiallabs.ai и аккаунт experiential-labs на Hugging Face, без названия компании, команды или источников финансирования. Проект называет себя open source, но какая именно лицензия используется, в материале не указано, как и версия или дата релиза. На Hacker News пост на момент публикации набрал 148 очков и 25 комментариев, это говорит об интересе к обсуждению, но не является подтверждённой цифрой реального использования продукта.

Риски и подводные камни

Шлюз, через который проходят вызовы к нескольким провайдерам и который хранит их ключи, новый компонент инфраструктуры, требующий отдельного внимания к безопасности при развёртывании, особенно в облачном варианте. Без явно указанной лицензии не до конца ясны условия использования и модификации кода. Телеметрия через PostHog включена по умолчанию: авторы утверждают, что она анонимна и не включает содержимое запросов, но перед тем как пускать через шлюз реальный продакшен-трафик, эту настройку стоит явно проверить («exp config telemetry status») и при необходимости отключить. Не указано и то, есть ли лимит на объём бесплатного BYOK-проброса запросов к провайдеру, это стоит уточнить отдельно при большой нагрузке.