ИИтог

Google представила PhotoScan: ИИ оценивает состав тела по фото смартфона почти как DXA-сканер

исследованияРедакция ИИтогGoogle Research🔥67Рейтинг ИИтог67Влияние65Новизна70Релевантность78Неожиданность38Участники82Достоверность85

Исследователи Google Research Кэсси Чжоу (Cassie Zhou) и Ахмед Метвалли (Ahmed Metwally) описали PhotoScan, исследовательскую систему глубокого обучения, которая по обычным 2D-фотографиям со смартфона оценивает трёхмерные показатели состава тела: процент жира (BF%), соотношение жира в туловище к жиру в бёдрах и ягодицах (A/G ratio, «яблоко» против «груши») и соотношение висцерального жира вокруг органов к подкожному (V/S ratio). Задача, раннее выявление инсулинорезистентности: она предшествует диабету 2-го типа за годы до того, как уровень глюкозы натощак выйдет за диагностические границы, и по эпидемиологическим обзорам оценка HOMA-IR выше 2,9 уже считается признаком инсулинорезистентности. Обычный ИМТ (BMI) такие риски не улавливает, а золотой стандарт измерения состава тела, DXA-сканирование, точен, но дорог, требует клинического оборудования и облучает пациента, поэтому для массового скрининга не подходит.

Сеть PhotoScan сначала предобучили на данных более 35 000 участников UK Biobank, затем дообучили на отдельной когорте из 677 взрослых (когорта PhotoBIA). При 5-кратной кросс-валидации на этой когорте дообученная модель PhotoScan показала среднюю абсолютную ошибку (MAE) 2,15 для процента жира, точнее, чем модель на основе биоимпедансных датчиков умных часов (BIA), у которой MAE 2,91; для A/G ratio средняя ошибка составила 0,107, для V/S ratio, 0,094. На независимой проверочной когорте MetabolicMosaic результаты оказались сопоставимыми: MAE 2,13 для процента жира, 0,085 для A/G и 0,085 для V/S. Небольшое снижение ошибки по A/G и V/S в MetabolicMosaic авторы объясняют более высокой долей женщин в этой когорте (67% против 57% в PhotoBIA), у женщин из-за преимущественно гиноидного (подкожного) распределения жира эти соотношения по абсолютной величине ниже и стабильнее.

Затем PhotoScan проверили как инструмент для классификации инсулинорезистентности: на когорте MetabolicMosaic обучили классификатор на основе градиентного бустинга и сравнили, насколько разные наборы входных данных улучшают предсказание, по метрикам AUROC (способность модели отличить людей с инсулинорезистентностью от остальных) и NRI (насколько новые данные улучшают правильную классификацию по сравнению с базовой моделью). Базовая модель только на демографии (возраст, пол, ИМТ) дала AUROC 0,692. Добавление показателей PhotoScan подняло AUROC до 0,760, а NRI, до 0,593; это близко к результату эталонных DXA-данных, которые дали максимум, AUROC 0,773 и NRI 0,748. А вот добавление данных BIA с умных часов к демографии никакого улучшения не дало ни по AUROC, ни по NRI, BIA измеряет только процент жира, чей вклад в прогноз заметно меньше, чем у A/G и V/S ratio, которые PhotoScan умеет оценивать, а BIA, нет.

Авторы называют PhotoScan исследовательским прототипом, а не готовым продуктом, и подчёркивают, что это демонстрация принципиальной осуществимости: смартфонная оптическая оценка состава тела технически работает и клинически информативна как масштабируемая замена дорогим DXA-сканированиям там, где раньше был доступен только ИМТ или трекеры на запястье. В планах команды, объединить оценку состава тела с данными носимых устройств, динамикой глюкозы и анализами крови для более полной картины метаболического риска.

Ключевые факты

  • Google Research показала PhotoScan, нейросеть, которая по 2D-фото со смартфона оценивает процент жира, а также A/G ratio и V/S ratio, показатели, которые обычный ИМТ не улавливает.
  • Сеть предобучена на данных 35 000+ участников UK Biobank и дообучена на когорте из 677 взрослых; MAE по проценту жира, 2,15, точнее биоимпедансных датчиков умных часов (MAE 2,91).
  • В задаче классификации инсулинорезистентности PhotoScan подняла AUROC с 0,692 (только демография) до 0,760 при NRI 0,593, почти вровень с эталонным DXA-сканированием (AUROC 0,773, NRI 0,748).
  • Данные с умных часов (BIA) в этой задаче не улучшили результат вообще: они дают только процент жира, а не A/G и V/S ratio, которые оказались важнее для прогноза.
  • Авторы прямо называют PhotoScan исследовательским прототипом, а не продуктом, и планируют дальше сочетать его с носимыми датчиками, динамикой глюкозы и анализами крови.

Почему это важно

Инсулинорезистентность, одна из самых недодиагностируемых причин метаболических болезней: она подтачивает сосуды, печень и энергетический обмен за годы до того, как это покажет обычный анализ сахара натощак. ИМТ, на который сегодня опирается массовый скрининг, эту угрозу не видит, а точный золотой стандарт, DXA-сканирование, дорог, требует клиники и облучает пациента, поэтому для регулярного скрининга населения не годится. PhotoScan показывает, что часть этой точности можно получить из обычных фото на смартфон, без специального оборудования и облучения.

Кому это важно

В первую очередь, исследователям метаболических заболеваний и разработчикам цифровых инструментов здоровья: PhotoScan даёт способ дёшево и массово собирать данные о составе тела, которые раньше требовали клинического DXA-сканирования. Потенциально это интересно и врачам, которые ищут ранние маркеры риска диабета у пациентов с нормальным ИМТ, и производителям приложений/носимых устройств, которым нужны более информативные метрики, чем просто процент жира с датчика умных часов. Пока это исследовательский прототип, а не готовый сервис для конечного пользователя.

Как это применить

Сам PhotoScan, не продукт: это исследовательский прототип, о его коммерческом или встроенном в приложения виде Google не сообщает. Практический вывод для разработчиков и исследователей, направление подтверждено: фото смартфона плюс глубокое обучение способны заменить часть функций дорогого DXA-оборудования, особенно там, где нужны A/G и V/S ratio, а не просто процент жира. Google обозначила следующий шаг, сочетать такие оптические оценки с данными носимых устройств, динамикой глюкозы и анализами крови, чтобы получить более полную картину риска.

Можно ли доверять

Результаты проверены на двух разных когортах: PhotoBIA (677 взрослых, дообучение и 5-кратная кросс-валидация) и независимой MetabolicMosaic, ошибки предсказания на обеих оказались близкими, что говорит о воспроизводимости. В задаче классификации инсулинорезистентности PhotoScan почти догнал эталонное DXA-сканирование по AUROC и NRI. При этом источник, блог Google Research, а не рецензируемая научная публикация: в тексте нет ни ссылки на журнал или препринт, ни доверительных интервалов или p-значений для приведённых разниц в MAE, AUROC и NRI. Сами авторы называют PhotoScan исследовательским прототипом.

Риски и подводные камни

Главный риск, переносить прототип на практику раньше времени: PhotoScan не проходил внешней рецензии и не развёрнут ни в одном продукте. Точность уже заметно различается между полами (женские A/G и V/S ratio ниже и стабильнее из-за иного распределения жира), а состав обеих когорт по возрасту, этничности и географии в источнике не раскрыт, насколько модель обобщается на более широкую популяцию, неясно. Оценка состава тела по фото, это ещё и чувствительные биометрические данные, для которых потребуются отдельные вопросы приватности и регулирования, если технология дойдёт до потребительских приложений.