NASA развернула ИИ-модель Google Gemma 3 на борту спутника
Лаборатория реактивного движения NASA (JPL) совместно с компанией Loft Orbital впервые показала, как визуально-языковая модель анализирует снимки прямо на борту спутника, не скачивая кадры на Землю. Систему назвали NAVI-Orbital; её развернули на спутнике YAM-9 производства Loft Orbital, и она обрабатывала изображения, снятые собственной камерой аппарата, в реальном времени.
NAVI-Orbital, агентный программный фреймворк, который разработали Хуан М. Дельфа и Таран Сириак Джон из NASA JPL вместе с Эндрю У. Хёрсоном из Loft Orbital. Оркестрацией занимается «дирижёр» на базе фреймворка LangGraph, а для самого анализа система использует сжатую 4-битную версию открытой модели Google Gemma 3 4B, той же самой, которую любой человек может скачать с Hugging Face и запустить на ноутбуке, без каких-либо доработок под задачу. Из-за 4-битного сжатия модель на 4 миллиарда параметров занимает всего 8 ГБ памяти, поэтому в реальном орбитальном тесте она работала на компактном модуле Nvidia Jetson Orin AGX, таком же, какой часто ставят в роботов. Сам спутник несёт вычислительный кластер из нескольких радиационно-стойких процессоров (FPGA, CPU и GPU), обслуживающий сразу нескольких заказчиков, а питание даёт солнечная батарея мощностью от 150 до 500 Вт, в зависимости от положения аппарата на орбите.
Перед запуском команда проверила систему на земле: на тестовом наборе из 7960 снимков Gemma 3 классифицировала изображения с точностью 88%, хотя модель не дообучали ни под этот датасет, ни под его категории. Уже на орбите NASA провела два реальных сеанса съёмки камерой YAM-9, над Тулузой во Франции и над побережьем Аргентины. Для каждого снимка Gemma 3 сгенерировала текстовое описание, а также ответила на заранее заготовленный список вопросов, например, есть ли на кадре коммерческая или жилая застройка и природные объекты.
Пол Лассер, глава Loft Orbital, называет главный практический эффект «семантическим сжатием»: большинство спутников не могут в реальном времени передавать на Землю видео или снимки высокого качества, канал связи ограничен и доступен лишь в отдельные окна по ходу орбиты, а вместо мегабайт сырых кадров спутник может передать текстовое резюме объёмом в десятки килобайт. По словам Лассера, это позволяет использовать спутник «тактически», то, что раньше было возможно только в голливудских фильмах. Дельфа приводит конкретный пример: обнаружение лесных пожаров сегодня может задерживаться до 90 минут из-за ограничений канала связи и обработки данных на Земле, а анализ снимка прямо на борту с мгновенным текстовым предупреждением способен убрать эту задержку.
Более широкий смысл эксперимента Дельфа называет «серьёзным сдвигом»: учёный теперь может написать обычный текстовый запрос и загрузить его на спутник вместо того, чтобы писать жёстко структурированные команды, для выполнения которых нужны отдельная команда управления полётом и целый процесс согласования. Перенастроить систему на новую задачу, скажем, искать не типы застройки, а пожары, можно, просто изменив текст запроса, без переписывания и повторной проверки бортового ПО и без обучения новой модели. При этом NAVI-Orbital намеренно изолирована от систем управления полётом: она только читает изображения и решает, как их анализировать, но не имеет доступа ни к чему за пределами этой задачи. Дельфа говорит, что в долгосрочной перспективе похожий ИИ мог бы стать текстовым напарником для космонавтов, из-за ограничений скафандра для ловкости рук идея естественно-языкового интерфейса выглядит привлекательно, но для этого нужно ещё много исследований; само же испытание NAVI-Orbital уже доказало, что развернуть языковую модель в космосе и управлять её работой через текстовые запросы возможно.
Ключевые факты
- NASA (Лаборатория реактивного движения, JPL) и Loft Orbital впервые показали, как модель Google Gemma 3 анализирует снимки прямо на борту спутника YAM-9, а не после скачивания их на Землю.
- Систему NAVI-Orbital координирует агентный фреймворк на базе LangGraph; она использует сжатую 4-битную версию открытой модели Gemma 3 4B, которая занимает всего 8 ГБ памяти и работает на модуле Nvidia Jetson Orin AGX.
- На наземном бенчмарке из 7960 снимков точность классификации составила 88%, без какого-либо дообучения модели под этот датасет.
- В двух реальных сеансах на орбите, над Тулузой во Франции и над побережьем Аргентины, Gemma 3 описывала снимки текстом и отвечала на заранее заданные вопросы об их содержимом.
- Подход экономит канал связи со спутником («семантическое сжатие»): вместо мегабайт сырых снимков на Землю передаются десятки килобайт текста, что может, например, сократить задержку при обнаружении лесных пожаров, сейчас она доходит до 90 минут.
Почему это важно
Это первая в истории демонстрация того, как визуально-языковая модель анализирует снимки прямо на борту спутника, а не после скачивания их на Землю. NASA (JPL) и Loft Orbital показали, что открытая модель Google Gemma 3 без каких-либо доработок способна работать в условиях орбиты и превращать сырые кадры в текстовое описание на месте. Это меняет экономику спутниковой съёмки: вместо мегабайт изображений на Землю можно передавать килобайты текста, а вместо жёстко прописанных бортовых команд, обычный текстовый запрос.
Кому это важно
В первую очередь, инженерам и учёным, которые проектируют бортовые системы спутников (NASA JPL, Loft Orbital и другие операторы), и разработчикам компактных открытых моделей: эксперимент доказывает, что их модели пригодны не только для ноутбуков и телефонов, но и для радиационно-стойкого бортового железа со скромным питанием. Во вторую очередь, всем, кто зависит от быстрой спутниковой аналитики: например, службам мониторинга пожаров и стихийных бедствий, для которых счёт идёт на минуты, а канал связи со спутником, редкий и медленный ресурс.
Как это применить
Ключевое практическое свойство системы, она работает «как есть»: Gemma 3 не дообучали под конкретный датасет снимков, модель показала точность 88% без специальной подготовки, потому что задача формулируется обычным текстовым запросом, а не жёстким набором категорий. Чтобы перенастроить систему на новую задачу, например, искать не типы застройки, а пожары, достаточно поменять текст запроса, не переписывая и не проверяя заново бортовое ПО и не обучая новую модель. Требования к железу скромные: 4-битная версия модели на 4 миллиарда параметров занимает всего 8 ГБ памяти и работает на компактном модуле Nvidia Jetson Orin AGX, что делает подход воспроизводимым на разных спутниковых платформах, а не только на дорогих суперкомпьютерах.
Можно ли доверять
Речь не о лабораторном прототипе на бумаге: NAVI-Orbital сначала проверили на земле (88% точности на 7960 снимках), а затем провели два реальных сеанса съёмки на орбите, над Тулузой и побережьем Аргентины, где Gemma 3 описывала кадры текстом и отвечала на заранее заданные вопросы об их содержимом. Авторы системы, Хуан М. Дельфа и Таран Сириак Джон из NASA JPL, Эндрю У. Хёрсон из Loft Orbital, прямо очерчивают границы эксперимента: система пока только анализирует изображения и не имеет доступа к управлению аппаратом. Это доказанный, но узкий результат, а не готовая автономная система.
Риски и подводные камни
NAVI-Orbital намеренно изолирована от полётного ПО и не может управлять спутником, это осознанное ограничение эксперимента, а не готовность к автономному контролю аппаратов. Остаётся открытым вопрос надёжности такой модели в критичных сценариях: ошибка распознавания при обнаружении пожара или другого события может стоить времени, которое система как раз должна была сэкономить. На это накладываются физические ограничения, питание от солнечных панелей всего 150, 500 Вт и вычислительный кластер, разделяемый с другими задачами на спутнике; а до идеи Дельфы о ИИ-компаньоне для космонавтов, по его собственным словам, нужно ещё много исследований.
«Это серьёзный сдвиг. Теперь учёный может написать запрос, загрузить его на борт аппарата, и система его учтёт. Это не похоже на прежние подходы, где исследователям приходилось писать жёстко структурированные команды, для выполнения которых нужны отдельная команда управления полётом и целый процесс.»
— Хуан М. Дельфа, руководитель технической группы NASA