Microsoft выпустила GigaPath-Flash и GigaTIME-Flash, компактные модели для анализа патологии
Microsoft Research совместно с University of Washington и системой здравоохранения Providence выпустила GigaPath-Flash и GigaTIME-Flash, облегчённые версии фундаментальных моделей для компьютерной патологии GigaPath и GigaTIME. Обе новые модели открыты (веса и код на HuggingFace) под лицензией Apache 2.0.
Проблема, которую решают Flash-модели, стоимость вычислений. Снимок целого гистологического слайда (whole-slide image) часто превышает гигапиксель, и обработка даже одного слайда требует прогонки через модель тысяч фрагментов изображения. Популяционные исследования на десятках тысяч пациентов требуют не одного прогона модели, а повторяющихся циклов извлечения признаков, статистического анализа и проверки гипотез, и именно вычислительная стоимость ограничивает число пациентов, датасетов и гипотез, которые могут позволить себе исследователи.
GigaPath (опубликована в Nature в 2024 году), фундаментальная модель, обученная на реальных данных гистопатологии от Providence; в отличие от моделей, работающих только на уровне отдельных фрагментов, она строит представление всего слайда целиком. GigaTIME (Cell, 2026) развивает эту линию для опухолевого микроокружения: она обучена на 40 миллионах клеток с парными данными H&E-окраски и мультиплексной иммунофлуоресценции (mIF) и переводит обычные H&E-снимки в виртуальные карты пространственной протеомики по 21 белковому каналу. Применённая более чем к 14 000 онкологических пациентов, GigaTIME обнаружила свыше 1200 статистически значимых связей между состояниями иммунных клеток и клиническими биомаркерами.
GigaPath-Flash и GigaTIME-Flash построены на общем эффективном бэкбоне, компактном tile-энкодере ViT-S на 22 миллиона параметров, дистиллированном из исходного миллиардного tile-энкодера ViT-g модели GigaPath. Slide-энкодер GigaPath-Flash, это LongNet на 21 миллион параметров, который через dilated attention связывает эмбеддинги всех фрагментов слайда, масштабируясь линейно по их числу. На бенчмарках классификации целых слайдов (грейдинг рака простаты PANDA и определение подтипов опухолей мозга EBRAINS) GigaPath-Flash показывает наименьшую стоимость инференса среди моделей для целых слайдов и отстаёт от исходной GigaPath не более чем на 3% при вычислениях, меньших примерно в 50 раз.
GigaTIME-Flash заменяет CNN-бэкбон исходной GigaTIME на тот же ViT-S энкодер GigaPath-Flash в паре с лёгким свёрточным декодером для перевода H&E-снимков в mIF-карты и дообучается через LoRA-адаптеры, при этом веса предобученного энкодера остаются в основном замороженными. На выборках внутри распределения и вне его (данные по опухолям мозга, груди, толстой кишки и лёгких) GigaTIME-Flash не уступает или превосходит исходную GigaTIME по качеству предсказания пространственных белковых карт, причём выигрыш особенно заметен именно на данных вне распределения, авторы связывают это с тем, что фундаментальный бэкбон улучшает обобщение на ранее не встречавшиеся типы тканей.
Авторы прямо оговаривают статус релиза: обе модели, исследовательские, они не предназначены и не проверены для клинического применения (диагностика, прогноз, выбор лечения или любые другие решения о пациентах), а результаты могут различаться между датасетами, сканерами, учреждениями и популяциями. Это ранний исследовательский релиз: текущая проверка охватывает ограниченный набор бенчмарков и когорт, и авторы прямо говорят, что для практического клинического применения потребуется дополнительная многоцентровая и проспективная валидация.
Ключевые факты
- Tile-энкодер GigaPath-Flash, ViT-S на 22 млн параметров, дистиллирован из исходного миллиардного (billion-parameter) ViT-g энкодера GigaPath; slide-энкодер, LongNet на 21 млн параметров
- На бенчмарках PANDA (грейдинг рака простаты) и EBRAINS (подтипы опухолей мозга) GigaPath-Flash отстаёт от исходной GigaPath не более чем на 3%, используя примерно в 50 раз меньше вычислений
- GigaTIME-Flash заменяет CNN-бэкбон исходной GigaTIME на ViT-S энкодер GigaPath-Flash и дообучается через LoRA; на данных вне распределения (мозг, грудь, толстая кишка, лёгкие) результаты не хуже или лучше оригинала
- Исходная GigaTIME обучена на 40 млн клеток с парными H&E и mIF данными, применена к более чем 14 000 онкопациентам и нашла свыше 1200 значимых связей между иммунными клетками и клиническими биомаркерами
- Обе Flash-модели выложены с открытыми весами и кодом на HuggingFace под лицензией Apache 2.0; авторы прямо указывают, что модели исследовательские и не готовы для клинического применения без дополнительной многоцентровой валидации
Почему это важно
Вычислительная стоимость, главное узкое место компьютерной патологии: гигапиксельные снимки слайдов требуют обработки тысяч фрагментов на каждый слайд, а популяционные исследования на десятках тысяч пациентов, многократных повторных прогонов модели для извлечения признаков, статистики и проверки гипотез. GigaPath-Flash и GigaTIME-Flash не добавляют новую биологическую способность поверх исходных GigaPath и GigaTIME, а решают именно проблему масштаба экспериментов: дистилляция миллиардного tile-энкодера в компактный ViT-S на 22 млн параметров даёт сопоставимое качество (отставание в пределах 3% на использованных бенчмарках) при вычислениях примерно в 50 раз меньше.
Кому это важно
Прежде всего исследовательским группам в вычислительной патологии и онкобиологии, у которых нет ресурсов на инференс миллиардных моделей по десяткам тысяч гигапиксельных слайдов: снижение стоимости вычислений напрямую увеличивает число пациентов, датасетов и гипотез, которые можно проверить в рамках одного исследования. Также это релиз для сообщества разработчиков открытых моделей, веса и код доступны на HuggingFace под Apache 2.0, что позволяет использовать и дообучать модели без ограничений лицензии.
Как это применить
Веса и код GigaPath-Flash и GigaTIME-Flash открыты на HuggingFace под лицензией Apache 2.0. GigaPath-Flash пригоден как замена исходной GigaPath для классификации целых слайдов там, где важна скорость и стоимость инференса; GigaTIME-Flash, как более дешёвая альтернатива для перевода H&E-снимков в виртуальные карты пространственной протеомики, с возможностью дообучения через LoRA-адаптеры поверх замороженного энкодера. Авторы прямо подчёркивают: обе модели предназначены только для исследовательских задач и не должны использоваться для диагностики, прогноза или выбора лечения, для клинического применения нужна дополнительная многоцентровая и проспективная валидация.
Можно ли доверять
Источник, официальный блог Microsoft Research, то есть материал от самих разработчиков, а не независимая проверка со стороны. Заявленные цифры (отставание в пределах 3% при вычислениях меньше примерно в 50 раз, результаты на данных вне распределения) относятся к ограниченному набору бенчмарков, PANDA, EBRAINS и внутренним онкологическим когортам по мозгу, груди, толстой кишке и лёгким. Сами авторы называют релиз ранним исследовательским и прямо пишут, что текущая проверка охватывает ограниченный набор бенчмарков и когорт, а более широкая валидация по задачам, сканерам и популяциям пациентов ещё предстоит, то есть заявления пока не прошли независимую внешнюю проверку.
Риски и подводные камни
Авторы явно оговаривают: GigaPath-Flash и GigaTIME-Flash не предназначены и не проверены для клинического применения, включая диагностику, прогноз, выбор лечения или любые другие решения о пациентах, а результаты могут различаться между датасетами, сканерами, учреждениями и популяциями. Для перехода к клиническим сценариям потребуется дополнительная многоцентровая и проспективная валидация, которой пока не проводилось. Конкретные цифры по времени и стоимости обработки разных по размеру когорт на GPU A100 в исходном материале заявлены как оценка (при допущении около 10 000 фрагментов на слайд), но точные значения в тексте не приведены.