Google DeepMind выпустила WeatherNext 3, ИИ-модель погоды с разрешением до 5 км и обновлением каждый час
Google DeepMind вместе с Google Research представили WeatherNext 3, новую версию своей глобальной ИИ-модели прогноза погоды, которую компания называет самой точной и продвинутой на сегодняшний день (со ссылкой на независимые живые оценки компании Brightband). Начиная с сегодняшнего дня модель встраивается в погодные функции Google Search, приложения Gemini, Google Maps, Google Maps Platform Weather API и Google Earth Engine по всему миру.
Главное отличие от предыдущих моделей, включая WeatherNext 2, источник данных для обучения. Большинство ИИ-моделей погоды прежде обучались на выходных данных традиционных суперкомпьютерных физических симуляций (NWP), у которых лаг до шести часов и которые хуже улавливают быстро меняющиеся величины вроде дождя или приземной температуры. WeatherNext 3 вместо этого обучается напрямую на данных наблюдений: почасовых мозаиках снимков геостационарных спутников, историческом анализе погоды и данных отдельных метеостанций. Все эти данные поступают в единую архитектуру, трансформер с сеточной структурой (Functional Generative Network, FGN), который на выходе строит плотные сеточные поля прогноза, отдельно отслеживает траектории циклонов и даёт точечные прогнозы для конкретных метеостанций.
Прогноз обновляется каждый час. Ключевые приземные переменные, температура и влажность, модель показывает с разрешением 5 км, прочие приземные переменные, с разрешением 10 км, а атмосферные переменные вроде скорости ветра, с разрешением 25 км. По итогу общая картина погоды получается примерно впятеро детальнее, чем у WeatherNext 2, который выдавал прогноз на сетке 25 км с обновлением раз в 6 часов.
Обучение на данных отдельных метеостанций, а не только на глобальной сетке, позволяет учитывать локальный рельеф и резкие перепады температуры и влажности, это особенно заметно для побережий, долин и горных районов. По словам разработчиков, это особенно важно для Латинской Америки, Африки и Азиатско-Тихоокеанского региона: точный региональный прогноз там исторически был недоступен из-за огромной стоимости суперкомпьютерных региональных моделей, а WeatherNext 3 должен принести детальный прогноз миллиардам людей и локальному бизнесу в этих регионах.
Отдельно модель впервые прогнозирует скорость ветра на высоте около 100 метров, это примерно высота ветряной турбины, а также детально прогнозирует облачность и уровень солнечной радиации. По словам разработчиков, эти данные критичны для планирования в чистой энергетике: операторы сетей и компании, развивающие возобновляемую энергетику, смогут точнее предсказывать выработку электростанций и сверять её с потребительским спросом.
Отдельный блок улучшений, прогноз осадков, который у глобальных моделей традиционно получается хуже всего: дождь и снег формируются быстрыми процессами на мелком масштабе, которые физические симуляции плохо ловят. Для этого WeatherNext 3 обучили на двух источниках данных об осадках, спутниковом наборе NASA IMERG (Integrated Multi-satellite Retrievals for GPM) и собственном глобальном реанализе осадков на основе данных спутникового радара. По итогам оценки на среднесрочном горизонте прогноза точность (по метрике CRPS, Continuous Ranked Probability Score, показателю качества вероятностного прогноза) выросла: до 60% против эталона IMERG, на 30% против эталона MRMS и на 10% против данных дождемеров для ранних сроков прогноза. Иллюстрация в блоге показывает: на сетке 25 км WeatherNext 2 даёт смазанную, пиксельную картину вероятности осадков, а WeatherNext 3 на сетке 11 км гораздо точнее повторяет реальные спутниковые данные.
Для обычного пользователя, который планирует день или больше вперёд, это означает прогноз осадков точнее до 50%, чем раньше, причём наибольший выигрыш, как раз в регионах, где прогнозы исторически были менее надёжными. Для исследователей, разработчиков и бизнеса данные WeatherNext 3 доступны без необходимости настраивать собственную модель: через запросы в сервисах BigQuery и Earth Engine или массовой выгрузкой из хранилища Google Cloud Storage.
Ключевые факты
- WeatherNext 3 обучается напрямую на данных спутников и метеостанций в реальном времени, а не на выходных данных суперкомпьютерных симуляций (NWP) с лагом до 6 часов, как раньше.
- Прогноз обновляется каждый час: разрешение 5 км для температуры и влажности, 10 км для прочих приземных переменных, 25 км для ветра и атмосферных величин, это примерно впятеро детальнее WeatherNext 2.
- Точность прогноза осадков (по метрике CRPS, которая оценивает качество вероятностного прогноза) выросла: до 60% против спутникового эталона NASA IMERG, на 30% против эталона MRMS и на 10% против дождемеров для ранних сроков прогноза.
- Модель впервые прогнозирует скорость ветра на высоте около 100 метров (примерно высота турбины) и уровень солнечной радиации, данные для планирования в ветро- и солнечной энергетике.
- С сегодняшнего дня WeatherNext 3 работает в Google Search, приложении Gemini, Google Maps, Weather API и Earth Engine по всему миру; независимые оценки Brightband называют её самой точной глобальной моделью погоды на сегодня.
Почему это важно
Погода определяет огромное число решений каждый день, от того, брать ли зонт, до работы сельского хозяйства, цепочек поставок и энергетики. Прежние ИИ-модели прогноза, включая предыдущую версию WeatherNext 2, обучались на выходных данных традиционных суперкомпьютерных физических симуляций (NWP) с лагом до шести часов, из-за чего хуже ловили быстро меняющиеся величины вроде дождя или приземной температуры. WeatherNext 3 обучается сразу на данных наблюдений, почасовых мозаиках снимков геостационарных спутников и данных метеостанций, и обновляет прогноз каждый час с разрешением до 5 км для ключевых приземных переменных. По оценке разработчиков, итоговая картина погоды получается примерно впятеро детальнее, чем у WeatherNext 2, который работал на сетке 25 км с шагом в 6 часов.
Кому это важно
Разработчики называют спасателей, отслеживающих резкие порывы ветра, авиадиспетчеров, планирующих маршруты, и фермеров, управляющих урожаем. Отдельно выделены Латинская Америка, Африка и Азиатско-Тихоокеанский регион: по словам DeepMind, из-за высокой стоимости суперкомпьютерных региональных моделей точный локальный прогноз там исторически был недоступен, а WeatherNext 3, которая обучается в том числе на данных отдельных метеостанций, должна принести детальный прогноз миллиардам людей и локальному бизнесу в этих регионах. Ещё одна аудитория, энергетика: модель впервые прогнозирует скорость ветра на высоте около 100 метров (примерно высота турбины) для ветрогенерации и детально, облачность и уровень солнечной радиации для солнечных станций, что помогает операторам сетей сверять выработку с потребительским спросом.
Как это применить
С сегодняшнего дня WeatherNext 3 подключена к погодным функциям Google Search, приложения Gemini, Google Maps, Google Maps Platform Weather API и Google Earth Engine по всему миру, обычному пользователю ничего отдельно устанавливать не нужно. При планировании на день и дальше вперёд это означает прогноз осадков точнее до 50%, чем раньше, с наибольшим выигрышем в регионах, где прогнозы были менее надёжны. Исследователи, разработчики и компании могут получить данные прогноза без настройки собственной модели, через запросы в сервисах BigQuery и Earth Engine или массовой выгрузкой из хранилища Google Cloud Storage.
Можно ли доверять
Заявление о лидерстве модели опирается на независимые живые оценки компании Brightband, которые, по словам DeepMind, ставят WeatherNext 3 на первое место среди глобальных моделей погоды на сегодня, но сама методология Brightband в тексте поста не раскрыта, есть только ссылка на её лидерборд. Конкретные цифры улучшения точности прогноза осадков (по метрике CRPS, измеряющей качество вероятностного прогноза), до 60% против эталона IMERG, 30% против MRMS, 10% против дождемеров для ранних сроков прогноза, приведены как собственные оценки компании, без указания независимой проверки именно этих цифр. В тексте также не названы ни авторы работы, ни размер модели или объём обучающих данных, ни стоимость обучения, ни сравнение с прогнозными моделями других компаний, единственный ориентир для сравнения, предыдущая модель самой DeepMind, WeatherNext 2.
Риски и подводные камни
Материал, анонс от самой компании-разработчика, а не независимая публикация, и точная дата запуска не названа: только «сегодня» и «начиная с сегодняшнего дня», без разбивки по странам или указания на поэтапный запуск. Стоит учитывать и то, что разрешение 5 км, не характеристика модели в целом, а показатель только для ключевых приземных переменных (температура, влажность): прочие приземные переменные считаются с шагом 10 км, а атмосферные, например скорость ветра, с шагом 25 км. Сами авторы прямо оговариваются, что атмосфера в любом случае сохранит долю непредсказуемости, а за официальными предупреждениями о стихийных бедствиях и общественной безопасности стоит обращаться не к ИИ-модели, а к местной метеослужбе или национальной службе погоды, это прямая оговорка в тексте поста.