Ai2 запустила OlmoEarth Platform для спутникового ИИ-анализа планетарного масштаба

Ai2 (Allen Institute for AI) выпустила OlmoEarth Platform, инфраструктуру, которая берёт семейство моделей OlmoEarth (собственные фундаментальные модели для наблюдения Земли, предобученные примерно на 10 терабайтах мультимодальных спутниковых данных) и доводит их от дообучения и оценки до массового промышленного вывода (inference). Модели OlmoEarth уже применяют правительства, НКО и другие организации для мониторинга вырубки лесов, продовольственной безопасности и оценки риска лесных пожаров.

По словам разработчиков, открытая модель сама по себе полезна только организациям с сильными инженерными командами. Большинство же организаций из экологической сферы, как раз те, кто мог бы получить наибольшую пользу от таких моделей, не располагают инфраструктурой для разметки данных, дообучения и запуска вывода в большом масштабе. Ai2 опирается на более чем десятилетний опыт эксплуатации платформ Skylight и EarthRanger, которыми ежедневно пользуются люди по всему миру.

Спутниковый ИИ-вывод сложнее типичных задач машинного обучения: если обычная модель обрабатывает несколько мегабайт данных за доли секунды, то одна задача дообучения модели наблюдения Земли может гонять терабайты данных и работать часами. Входные данные приходят из разных источников с разными проекциями и разрешением, часть снимков закрыта облаками, а результат, это карта, которая должна оставаться точно выровненной по координатной сетке. Значительная часть времени уходит не на саму модель, а на скачивание и подготовку снимков.

Платформа делит каждую задачу на три стадии под разное оборудование: сбор и предобработка данных (CPU, высокая нагрузка на ввод-вывод, получение, репроекция, выравнивание и нормализация снимков), сам вывод модели (GPU) и постобработка (CPU, сшивка результатов по отдельным окнам, маскирование, экспорт в форматы Zarr, GeoTIFF или GeoJSON). Исполнительный слой платформы, OlmoEarth Run, делит географический регион задачи на партиции под отдельные вычислительные узлы, а партиции, на более мелкие окна, которые модель обрабатывает независимо друг от друга.

В качестве примера Ai2 приводит недавний запуск карты риска лесных пожаров по всей Северной Америке: на пике использовалось около 19 600 процессорных ядер и 994 GPU одновременно, сетевая пропускная способность превышала 168 ГБ/с. Это сократило расчётные 4737 часов последовательных вычислений примерно до 30,5 часа реального времени, ускорение примерно в 155 раз. Сегодня платформа способна обработать данные континентального масштаба примерно за сутки, обрабатывая десятки терабайт снимков по цене в доли цента за квадратный километр.

Для поиска нужных снимков платформа использует публичные каталоги STAC, но ведёт и собственный индекс метаданных, потому что крупная задача вывода может сгенерировать тысячи запросов метаданных одновременно, больше, чем способны выдержать внешние API вроде ESA или Microsoft Planetary Computer. Для данных, размещённых через AWS Open Data, индекс обновляется через уведомления SNS о каждом новом снимке; для остальных источников, периодическим опросом раз в несколько минут. Это позволяет не перегружать сторонние сервисы всплесками запросов.

Платформа спроектирована так, чтобы автоматически восстанавливаться после сбоев: под каждую задачу динамически поднимается виртуальная машина с Docker-контейнером-исполнителем, а поскольку задачи идемпотентны, их можно безопасно перезапускать при сбоях. Отдельный процесс мониторинга обнаруживает зависшие или остановившиеся исполнители и перезапускает их задачи; система различает временные и фатальные ошибки и при возможности переключается на альтернативных поставщиков данных.

В планах Ai2, автоматический запуск моделей по расписанию или по появлению новых снимков в индексе, обнаружение изменений (вырубка леса, наводнения) с автоматическими уведомлениями вместо ручного просмотра карт, инструменты на основе ИИ-агентов для снижения порога входа в работу с геопространственными моделями, более быстрые архитектуры моделей, добавление новых источников данных (в том числе метеоданных ERA-5), отдельная модель эмбеддингов для ускорения части задач вывода, а также перенос платформы за пределы Google Cloud, на котором она сейчас работает, на несколько облачных провайдеров и в инфраструктуру самих партнёров.

Ключевые факты

Ai2 (Allen Institute for AI) выпустила OlmoEarth Platform, инфраструктуру для промышленного вывода своих геопространственных моделей OlmoEarth, предобученных на ~10 ТБ мультимодальных спутниковых данных
Платформа обрабатывает континентальные территории примерно за сутки, десятки терабайт снимков, по цене в доли цента за квадратный километр
Карта риска лесных пожаров по всей Северной Америке: пик, ~19 600 CPU и 994 GPU одновременно, сеть свыше 168 ГБ/с; 4737 часов последовательных вычислений сжаты до ~30,5 часа (ускорение ~155×)
Каждая задача делится на три стадии под разное железо, сбор/подготовка данных на CPU, вывод модели на GPU, постобработка на CPU, с собственным индексом метаданных поверх публичных каталогов STAC
В планах, автозапуск по расписанию, обнаружение изменений с алертами, ИИ-агенты для упрощения работы, эмбеддинги для ускорения вывода и работа платформы вне Google Cloud

Почему это важно

Открытые фундаментальные модели для наблюдения Земли, уже не редкость, но между наличием модели и реальной пользой от неё лежит инфраструктурный разрыв: массовый вывод по спутниковым снимкам требует совсем других инженерных решений, чем обычный инференс языковых или зрительных моделей. OlmoEarth Platform закрывает именно этот разрыв, Ai2 переносит собственный многолетний опыт эксплуатации промышленных геоплатформ (Skylight, EarthRanger) в инфраструктуру, которая доводит модели OlmoEarth до континентального масштаба вывода за счёт разделения задачи на CPU- и GPU-стадии, собственного индекса спутниковых снимков и автоматического восстановления после сбоев.

Кому это важно

В первую очередь, правительствам, НКО и другим организациям экологической и природоохранной направленности, у которых есть данные и задачи (мониторинг вырубки лесов, продовольственная безопасность, оценка риска пожаров), но нет инженерных команд для дообучения моделей и запуска масштабного вывода. Также это важно инженерам и исследователям, работающим с крупномасштабными геопространственными системами: платформа документирует конкретные архитектурные решения, деление на партиции и окна, собственный индекс метаданных, обработку сбоев в распределённых вычислениях, с которыми сталкивается любой, кто строит подобные системы.

Как это применить

Платформа доступна как облачная инфраструктура для дообучения и запуска моделей OlmoEarth: она принимает географический регион и временной диапазон, сама находит и выбирает нужные спутниковые снимки (например, наименее облачные кадры Sentinel-2), делит задачу на партиции и окна, распределяет вычисления по CPU- и GPU-узлам и собирает результат в виде готовой карты в форматах Zarr, GeoTIFF или GeoJSON. Сейчас платформа работает на Google Cloud; исполнительному слою OlmoEarth Run для работы нужны только виртуальные машины, способные запускать Docker-образ, и доступ к blob-хранилищу, поэтому в перспективе её можно будет развернуть и в инфраструктуре самого партнёра.

Можно ли доверять

Заявленные цифры (19 600 CPU и 994 GPU на пике, ускорение в ~155 раз, доли цента за квадратный километр) взяты из собственного технического поста Ai2 и не проверены независимо, это описание одного конкретного показательного запуска (карта пожарного риска для Северной Америки), а не усреднённая статистика по всем задачам. При этом за заявлениями стоит более чем десятилетний опыт компании в эксплуатации боевых геопространственных платформ (Skylight, EarthRanger), которые уже используются партнёрами по всему миру, это придаёт техническим решениям правдоподобие даже без внешнего аудита.

Риски и подводные камни

Платформа пока работает только на Google Cloud, это критичная зависимость от одного облачного провайдера, хотя Ai2 обещает мультиоблачность и развёртывание в инфраструктуре партнёров в будущем. Часть заявленной эффективности и надёжности опирается на автоматические повторные попытки и переключение между поставщиками снимков, при массовых сбоях у нескольких провайдеров одновременно узкое место может остаться нерешённым. Планируемый переход части задач на предвычисленные эмбеддинги вместо полного прохода модели по сырым снимкам, это явный компромисс между скоростью/стоимостью и точностью, детали которого пока не раскрыты.

«Геопространственные фундаментальные модели, и особенно их промышленное применение, всё ещё формирующаяся технология, и многие организации, которые лучше всего подходят для их использования, работающие в сфере охраны природы, продовольственной безопасности, реагирования на катастрофы и климата, никогда не имели доступа к такой инфраструктуре. Мы создаём OlmoEarth, чтобы сократить этот разрыв.»

— Ai2, из поста в блоге OlmoEarth Platform