OlmoEarth Studio добавила экспорт эмбеддингов для анализа спутниковых снимков

Платформа OlmoEarth Studio для построения моделей анализа снимков Земли научилась считать и экспортировать эмбеддинги, компактные векторные представления геоданных, которые генерируют открытые базовые модели OlmoEarth. Исходный код, веса моделей и научная статья с описанием метода опубликованы, поэтому сообщество может проверить, как именно эти эмбеддинги строятся.

Эмбеддинги задуманы как быстрый и недорогой способ работать с OlmoEarth: они подходят для поиска похожих участков, сегментации и разведочного анализа без разметки. Места со схожими характеристиками поверхности получают близкие векторы, непохожие, расходятся в пространстве представлений. По словам разработчиков, эмбеддинги OlmoEarth показывают высокие результаты как в их собственных тестах, так и в независимых оценках, но подробности этих оценок в посте не приводятся. Экспорт делается в формате Cloud-Optimized GeoTIFF (COG), облачно-оптимизированный GeoTIFF, лёгкий и удобный для передачи. Через интерфейс Studio или API пользователь задаёт область интереса, временной диапазон (от 1 до 12 месячных периодов), вариант энкодера, разрешение и источник снимков, и получает COG, который открывается в любом геоинформационном инструменте: QGIS, GDAL, rasterio и других.

Доступны три варианта энкодера: Nano (128 измерений, 1,4 млн параметров), Tiny (192 измерения, 6,2 млн параметров) и Base (768 измерений, 89 млн параметров), по словам разработчиков, чем крупнее модель, тем богаче получаемое представление. Пространственное разрешение можно выбрать 10, 20, 40 или 80 метров на пиксель, источник снимков, Sentinel-2 L2A, Sentinel-1 RTC или оба сразу. Значения векторов хранятся как знаковые 8-битные целые числа в диапазоне от -127 до +127, значение -128 зарезервировано под отсутствующие данные; перевести их обратно в числа с плавающей точкой можно функцией dequantize_embeddings из пакета olmoearth_pretrain. Поскольку эмбеддинги считаются по запросу, а не берутся из заранее посчитанного глобального архива, можно строить помесячные векторы и отслеживать сезонную динамику, а не только годовые срезы.

В посте показаны четыре сценария применения на энкодере Tiny (192 измерения) при разрешении 40 метров на пиксель с композитами Sentinel-2 L2A. В поиске похожих участков запрос рядом с центром города Мерсед в Калифорнии чётко выделяет городскую застройку и дорожные коридоры на фоне тёмных сельскохозяйственных наделов, без единой метки разметки. В другом примере запрос по небольшому сельскохозяйственному участку показал: самые похожие места (косинусное сходство 0,89 и выше), орошаемые поля, а наименее похожие (значения около нуля), аэропорт с открытым грунтом, водохранилище с сухой местностью и засушливое пастбище.

В задаче сегментации по немногим примерам разработчики разметили всего 60 пикселей (по 20 на класс: мангры, вода, прочее) в прибрежном мангровом регионе Ка-Мау во Вьетнаме, используя карту ESA WorldCover 2021 как источник меток, обучили поверх эмбеддингов логистическую регрессию, и получили карту типов ландшафта со взвешенной F1-мерой 0,84. При увеличении числа размеченных пикселей с 30 до 300 точность почти не меняется, по мнению авторов, потому что основную работу уже выполняют сами эмбеддинги.

Для обнаружения изменений разработчики посчитали помесячные эмбеддинги Sentinel-2 за сентябрь 2023 и сентябрь 2024 года для одного и того же региона и сравнили их косинусным расстоянием, на карте различий сразу проявился шрам пожара Park Fire (июль, сентябрь 2024) в округе Бьютт, Калифорния, без обучения и разметки. Отдельно показан пример разведочного анализа без меток: метод главных компонент (PCA) сжимает эмбеддинги до трёх измерений, которые отображаются как каналы R/G/B, на снимке польдерного ландшафта Флеволанда в Нидерландах так проявляется регулярная сетка сельскохозяйственных наделов, а разные типы посевов, водоёмы и городская застройка получают разные цвета.

Кастомный экспорт эмбеддингов уже доступен пользователям OlmoEarth Studio; чтобы получить доступ, нужно обратиться к команде напрямую, условия и стоимость доступа в посте не раскрываются. Инструкции по вычислению собственных эмбеддингов на основе публично доступных моделей OlmoEarth также опубликованы отдельно. Если точности такого «замороженного» представления недостаточно, Studio поддерживает дообучение (supervised fine-tuning, SFT), обучение отдельной «головы» модели под конкретную задачу на своих данных, которое, по данным разработчиков, обычно превосходит по качеству линейный классификатор поверх замороженных признаков. Разработчики отмечают и ограничение: качество эмбеддингов стоит проверять под свою задачу, а результат зависит от качества входных снимков, устойчивая облачность, атмосферные артефакты или пропуски наблюдений в композите могут исказить итоговые векторы.

Ключевые факты

OlmoEarth Studio теперь считает и экспортирует эмбеддинги, векторные представления спутниковых снимков, из открытых моделей OlmoEarth в формате Cloud-Optimized GeoTIFF (COG).
Доступны три варианта энкодера, Nano (128 измерений, 1,4 млн параметров), Tiny (192 измерения, 6,2 млн параметров) и Base (768 измерений, 89 млн параметров); разрешение 10/20/40/80 метров на пиксель, период от 1 до 12 месяцев, источники снимков, Sentinel-2 L2A и/или Sentinel-1 RTC.
На задаче сегментации по 60 размеченным пикселям (по 20 на класс) в мангровом регионе Ка-Мау во Вьетнаме простой линейный классификатор поверх эмбеддингов дал взвешенную F1-меру 0,84; при росте разметки с 30 до 300 пикселей точность почти не меняется.
В примере обнаружения изменений помесячные эмбеддинги за сентябрь 2023 и сентябрь 2024 года сразу выявили шрам пожара Park Fire (июль, сентябрь 2024) в округе Бьютт, Калифорния, через косинусное расстояние между векторами.
Кастомный экспорт уже доступен пользователям OlmoEarth Studio по запросу к команде; для более высокой точности платформа поддерживает дообучение (SFT) отдельной «головы» модели на своих данных.

Почему это важно

OlmoEarth Studio, платформа для построения моделей анализа снимков Земли, добавила экспорт готовых эмбеддингов из своих открытых базовых моделей. Раньше эмбеддинги приходилось вычислять самостоятельно поверх открытых весов; теперь платформа сама считает вектор по заданным области, периоду, энкодеру, разрешению и источнику снимков и отдаёт готовый Cloud-Optimized GeoTIFF. Это снижает порог входа: не нужно поднимать собственную инфраструктуру для инференса модели, чтобы получить представление снимков, пригодное для поиска похожих участков, сегментации и разведочного анализа.

Кому это важно

Тем, кто работает со спутниковыми и радарными снимками прикладно: геоинформационным аналитикам, специалистам по сельскохозяйственному и лесному/водному мониторингу, командам, занимающимся картированием земельного покрова и оценкой ущерба от пожаров и других стихийных бедствий, а также исследователям, которым нужен быстрый базовый уровень качества без разметки и обучения собственной модели с нуля.

Как это применить

Работа строится через интерфейс Studio или API: пользователь задаёт область интереса (полигон), временной диапазон от 1 до 12 месячных периодов, вариант энкодера, Nano (128 измерений, 1,4 млн параметров), Tiny (192 измерения, 6,2 млн параметров) или Base (768 измерений, 89 млн параметров), разрешение 10/20/40/80 метров на пиксель и источник снимков (Sentinel-2 L2A, Sentinel-1 RTC или оба). На выходе, COG с одним каналом на измерение эмбеддинга, значения в 8-битных целых числах от -127 до +127 (-128, нет данных), который открывается в QGIS, GDAL, rasterio и других геоинструментах. Доступ к кастомному экспорту сейчас выдаётся по запросу к команде; если точности линейного классификатора недостаточно, доступно дообучение (SFT) отдельной модели-«головы» под задачу.

Можно ли доверять

Исходный код, веса моделей и научная статья опубликованы, так что метод вычисления эмбеддингов можно проверить независимо. При этом заявление о «высоких результатах в собственных и независимых оценках», без ссылок на конкретные бенчмарки или сравнение с другими моделями, это утверждение самих разработчиков платформы, а не результат стороннего аудита. Показанные в посте примеры (F1 = 0,84 на 60 размеченных пикселях, обнаружение шрама пожара Park Fire), иллюстрации на собственных данных авторов, а не независимая проверка.

Риски и подводные камни

Качество эмбеддингов зависит от качества входных снимков: устойчивая облачность, атмосферные артефакты и пропуски наблюдений в композите могут исказить итоговые векторы, и разработчики прямо советуют проверять качество под свою задачу перед использованием. Доступ к кастомному экспорту не оформляется автоматически, нужно обращаться к команде, а условия и стоимость в посте не раскрыты. Приведённые примеры (сегментация мангров, обнаружение пожара), узкие показательные кейсы на конкретных регионах, а не гарантия такого же качества для любой территории или задачи.