ИИ-стартапы Far Labs и Evolving Edge платят за аренду домашних компьютеров под инференс

У владельцев домашнего сервера, игрового компьютера или редко используемого ноутбука появился способ заработать на них: несколько стартапов запускают платформы, которые арендуют свободные вычислительные мощности для ИИ-инференса, работы уже обученной модели, отвечающей на запросы пользователей, и платят за это владельцам техники. Об этом пишет IEEE Spectrum. Компания Far Labs (Абу-Даби) во главе с основателем и гендиректором Ильманом Шазхаевым готовится в ближайшие недели запустить платформу Far AI. Evolving Edge (Остин, Техас) под руководством основателя и гендиректора Джона Федерико уже работает в режиме открытого бета-тестирования. За последний год похожие платформы начали Bless Network, Salad и Gradient.

Идея не нова: с 1999 по 2020 год волонтёрский проект SETI@Home использовал свободные мощности домашних компьютеров участников для поиска сигналов внеземных цивилизаций в данных радиотелескопов. Теперь тот же принцип берут на вооружение коммерческие компании. Федерико говорит, что идея пришла ему, когда он осознал: у 92% населения США есть широкополосный интернет, а у таких энтузиастов, как он сам, дома стоят целые мини-дата-центры. Шазхаев формулирует концепцию так: «Представьте Uber или Airbnb, но для задач ИИ-инференса».

По словам Федерико, крупные дата-центры «выкачивают ресурсы» из местных сообществ, где их строят: поднимают цены на электричество, не возвращая местным ни услуг, ни налогов. При этом, по мнению издания, огромные дата-центры никуда не денутся, обучение новых передовых моделей и работа флагманских моделей ведущих компаний, скорее всего, останется их вотчиной. Но для инференса небольших, чаще всего открытых моделей несколько компаний теперь используют уже существующие мощности домов и малого бизнеса.

Для хоста процесс максимально прост: зарегистрироваться в программе и поставить приложение, которое запускает задачи на устройстве только тогда, когда владелец это разрешил, и лишь отслеживает использование ресурсов; можно задать собственное расписание. Чтобы снять опасения по поводу приватности и безопасности, команда Evolving Edge открыла исходный код своего планировщика задач, любой может посмотреть, что именно делает программа. Far Labs строит защиту на принципе наименьших привилегий: и хост, и клиент получают минимально необходимый доступ, инференс выполняется как изолированная нагрузка с аутентифицированной шифрованной связью и явными ограничениями на использование GPU, CPU, памяти, хранилища и сети. Клиенты не получают произвольного доступа к машине хоста, а хост в любой момент может проверить использование ресурсов, приостановить узел, отозвать доступ или удалить программу. Защита действует и в обратную сторону: рабочие нагрузки сегментированы, отдельному узлу открывается лишь минимум нужной информации, а чувствительные корпоративные задачи можно ограничить контролируемым оборудованием, не пропуская их через потребительские устройства.

У массивных дата-центров остаётся преимущество: топовые GPU и CPU, высокоскоростные сети, продуманное охлаждение, тогда как пользовательские устройства менее мощные, разнородные и не всегда стабильно подключены друг к другу. По словам Шазхаева, добиться на пользовательских устройствах ограниченной мощности того же уровня задач, что решают дата-центры с развитой инфраструктурой, сложная научная задача. Федерико отмечает, что это проблема в первую очередь для самых крупных, передовых моделей, которые, впрочем, не всегда нужны и не всегда предпочтительны: компании, дойдя до определённого масштаба, часто перестают платить за токены флагманской модели и вместо этого дообучают открытые модели под свои конкретные задачи, а такие модели требуют куда меньше ресурсов. Небольшая открытая модель нередко помещается на одно пользовательское устройство целиком; если нет, есть инструменты для разделения одной задачи инференса между несколькими GPU или CPU. Evolving Edge использует для этого открытый инструмент Ray, а Far Labs разработала собственное закрытое ПО, которое не только делит нагрузку, но и оборачивает это разделение в слой защиты и отказоустойчивости. Шазхаев описывает подход так: модель разрезается на много частей, которые распределяются по разным устройствам, а оркестратор с балансировщиком нагрузки управляют потоком задач так, что каждое устройство обрабатывает свою часть, а ответы затем собираются воедино в «главном мозге», оркестраторе.

По утверждению компаний, распределённый подход дешевле дата-центра, поскольку у них нет капитальных затрат на инфраструктуру. Шазхаев считает его и более надёжным: вместо одного гигантского устройства, подверженного сбоям, есть распределённая сеть ресурсов, он сравнивает это с устойчивостью криптовалют за счёт децентрализации: «Чтобы сегодня отключить биткоин, нужно взорвать всю планету. Здесь та же идея». Федерико добавляет, что такая устойчивость пригодилась бы не только для ИИ-инференса, но и для умных городов, экологических датчиков, беспилотных автомобилей и других приложений: во время сбоя Amazon Web Services в 2026 году умные кровати намертво застревали в поднятом положении, а пользователи не могли их опустить, при распределённой сети, где всё не завязано на один дата-центр (например, в Эшберне, штат Вирджиния), последствия подобных сбоев были бы куда менее ощутимыми. По словам Федерико, в сети из 250 000 узлов можно потерять 100 узлов, и это не будет иметь значения. При достаточно большой сети задачи можно направлять на ближайшее устройство, снижая задержку: Far Labs заявляет о задержке в 100 миллисекунд или меньше на своей платформе. Более низкая стоимость и задержка могут открыть и новые сценарии использования, например, генерацию ИИ-видео прямо в игре в реальном времени, которая сейчас остаётся слишком медленной и дорогой.

Шазхаев приводит в пример OpenAI: «В прошлом году выручка OpenAI составила 30 миллиардов долларов США, но финансовый год компания закрыла с убытком в 8 миллиардов долларов. Почему? Официальная причина, высокая стоимость инференса. И это в основном текстовые модели. Для игрового контента, звук, видео, анимация, это тяжёлые данные, которые требуют ответа в реальном времени. Именно эту проблему мы и пытаемся решить».

Все перечисленные компании стремятся задействовать пока не использованный ресурс, локальные вычислительные мощности, рассчитывая на выгоду и для хостов техники, и для клиентов. «Все эти крупные игроки носятся вокруг, строя дата-центры, говорит Шазхаев, но я уверен, что в мире уже существует достаточно вычислительной мощности».

Ключевые факты

Far Labs (Абу-Даби, основатель и CEO Ильман Шазхаев) готовит запуск платформы Far AI; Evolving Edge (Остин, Техас, основатель и CEO Джон Федерико) уже работает в открытом бета-тестировании; похожие платформы за последний год запустили Bless Network, Salad и Gradient.
Идея опирается на опыт волонтёрского проекта SETI@Home (1999, 2020): свободные мощности домашних серверов, игровых ПК и ноутбуков используются для ИИ-инференса на небольших, чаще всего открытых моделях, а не для обучения флагманских моделей.
Far Labs разрезает модель на части и распределяет их по устройствам через оркестратор и балансировщик нагрузки; Evolving Edge для разделения задач использует открытый инструмент Ray; Far Labs заявляет о задержке до 100 миллисекунд.
Компании обещают устойчивость и экономию на капитальных затратах: по словам Федерико, в сети из 250 000 узлов потеря 100 узлов не будет иметь значения.
Шазхаев указывает на убыток OpenAI ($8 млрд при выручке $30 млрд за прошлый год), объясняемый высокой стоимостью инференса, как на иллюстрацию проблемы, которую призван решить распределённый подход.

Почему это важно

Строительство дата-центров под ИИ вызывает всё больше нареканий: рост цен на электричество, нагрузка на воду, шум и урон для местных сообществ, которые почти ничего не получают взамен. Far Labs, Evolving Edge и другие предлагают альтернативу для части нагрузки, инференс небольших открытых моделей на уже существующих домашних и офисных устройствах вместо строительства новых мощностей. Заявленная выгода тройная: ниже стоимость (нет капитальных затрат на инфраструктуру), меньше задержка за счёт близости узла к пользователю и выше отказоустойчивость за счёт распределённости, потеря части узлов сети не рушит сервис целиком, в отличие от одного дата-центра.

Кому это важно

Владельцам домашних серверов, игровых ПК и простаивающих ноутбуков, как источник пассивного дохода. ИИ-компаниям и разработчикам продуктов на открытых или дообученных моделях, как более дешёвая и, по заявлению платформ, более быстрая альтернатива токенам флагманских моделей для задач, не требующих топовой модели. Операторам классических дата-центров и облачных провайдеров инференса, как потенциальный конкурент в нише недорогого инференса открытых моделей, хотя обучение и запуск самых мощных моделей эта схема пока не затрагивает.

Как это применить

Владельцу техники, зарегистрироваться на платформе (Evolving Edge уже в открытой бета-версии, Far AI от Far Labs запускается в ближайшие недели, также работают Bless Network, Salad, Gradient), поставить клиентское приложение, задать расписание и разрешения на запуск задач; конкретных цифр выплат источник не приводит. Компании, использующей ИИ, рассмотреть такие платформы для инференса небольших или дообученных под свою задачу открытых моделей там, где токены флагманской модели избыточны по стоимости, особенно если важна низкая задержка (Far Labs заявляет о 100 мс и менее) или устойчивость к отказу отдельных узлов.

Можно ли доверять

Статья опубликована IEEE Spectrum, отраслевым изданием IEEE, и построена на прямых интервью с основателями обеих ключевых компаний, Ильманом Шазхаевым (Far Labs) и Джоном Федерико (Evolving Edge). Вместе с тем ключевые цифры, экономия по сравнению с дата-центрами, заявленная надёжность, задержка в 100 мс, это утверждения самих компаний, не подтверждённые источником независимо; конкретных данных о реальном заработке хостов, о доле ИИ-инференса, уже идущей через такие сети, или о датах основания Bless Network, Salad и Gradient в материале нет. Пример с ИИ-видеогенерацией в играх приведён как гипотетический сценарий, который подход может открыть, а не как уже работающий продукт.

Риски и подводные камни

Безопасность и приватность на стороне хоста зависят от доверия к чужому программному коду, выполняющемуся на его устройстве, открытый исходный код планировщика у Evolving Edge и принцип наименьших привилегий у Far Labs снижают, но не устраняют этот риск полностью. Разделение крупной модели между разнородными и не всегда стабильно подключёнными потребительскими устройствами, сама компания называет это сложной технической задачей, и подход прямо не годится для самых крупных, передовых моделей. Рынок ранний: не раскрыты ни реальные выплаты хостам, ни масштаб уже работающих сетей, ни схема ценообразования, а часть игроков (Bless Network, Salad, Gradient) в материале упомянута лишь по названию, без деталей.

«Представьте Uber или Airbnb, но для задач ИИ-инференса.»

— Ильман Шазхаев, основатель и генеральный директор Far Labs