Hugging Face выпустила Carbon-X: открытую модель для вопросов о ДНК

Платформа Hugging Face в четверг выпустила Carbon-X: открытую модель для анализа ДНК, которая может работать локально на ноутбуке. Её разработали совместно с исследователями из Академии Чжунгуаньцунь (Zhongguancun Academy, Китай) и Неаполитанского университета Федерико II (Италия). Модель обучена на геномных последовательностях и естественном языке, поэтому человек может спрашивать, как изменения в ДНК влияют на активность генов и здоровье, и получать ответы в формате диалога.

Льюис Танстолл, старший научный сотрудник Hugging Face, говорит, что инструмент призван помогать исследователям создавать новые лекарства и генные терапии, а также потенциально может помочь пациентам разбираться в собственных геномах. По его словам, разработчики открыли новую возможность языковых моделей, суть которой в том, чтобы «общаться с ДНК». Естественный язык позволяет даже людям без технической подготовки задавать вопросы, недоступные через другие инструменты. Автор материала сравнивает Carbon-X с «ChatGPT для ДНК».

Контекст из статьи: ДНК похожа скорее на компьютерный код, чем на естественный язык, только вместо нулей и единиц в ней буквы A, C, G и T. В геноме человека 6 млрд таких букв; его прочитали целиком, но как работает большая часть, учёные до сих пор не понимают. Раньше Google DeepMind выпустила AlphaGenome, которая предсказывает эффекты последовательностей ДНК и мутаций, но выдаёт результат в числовом виде и требует больше вычислительной мощности. Evo 2 (разработка Arc Institute и Nvidia с академическими партнёрами) «говорит на языке ДНК» и умеет генерировать геномы с нуля. Carbon-X объединяет ДНК и естественный язык в диалоговом интерфейсе.

Как сделана модель: команда взяла существующую языковую модель и расширила её словарь, чтобы она читала ДНК группами по шесть букв. Затем её дообучали на 300 млрд токенов, в которых сочетались последовательности ДНК, английский текст и примеры, связывающие ДНК с биологическими описаниями. ДНК брали у млекопитающих (включая человека), других позвоночных, беспозвоночных, растений, грибов и простейших. Вирусы в обучение не включали: по словам Танстолла, команда не хотела, чтобы модель использовали в потенциально опасных целях.

Ограничения: загрузить целый геном человека нельзя. Модель обучали на последовательностях примерно в 50 000 пар оснований, поэтому за раз можно запрашивать лишь небольшие участки генома. Один из сценариев применения, понять, безвредна мутация или вызывает болезнь; это ключевой шаг при разработке таргетной терапии, ведь если вмешательство нацелено не на ту мутацию, оно может оказаться бесполезным или даже навредить.

Модель специально сделали небольшой, на 14 млрд параметров. Исследователям ограничивают загрузку идентифицируемых и чувствительных данных пациентов в передовые ИИ-модели, а Carbon-X запускается на оборудовании пользователя, а не в облаке. По словам Танстолла, данные не отправляются ни Hugging Face, ни другим компаниям. Разработчики предупреждают: модель ещё не проверена в реальных лабораторных экспериментах, поэтому они не могут сказать, насколько точны её предсказания. Отдельно в статье напомнено, что в сентябре Nvidia договорилась купить Hugging Face почти за 13 млрд долларов.

Ключевые факты

• Hugging Face выпустила открытую модель Carbon-X на 14 млрд параметров для вопросов о ДНК в формате диалога; она может работать локально на ноутбуке.
• Разработана вместе с Академией Чжунгуаньцунь (Китай) и Неаполитанским университетом Федерико II (Италия); дообучена на 300 млрд токенов, включая ДНК млекопитающих, растений, грибов и простейших, но без вирусов.
• За один запрос модель принимает последовательности примерно в 50 000 пар оснований, поэтому целый геном человека загрузить нельзя.
• Данные не уходят в облако: по словам Льюиса Танстолла, ничего не отправляется ни Hugging Face, ни другим компаниям.
• Разработчики не проверяли модель в лабораторных экспериментах и не могут назвать точность её предсказаний.

Почему это важно

Большую часть человеческого генома учёные до сих пор не понимают, и ИИ-модели постепенно помогают это исправлять. Известные модели решают задачу по-разному: AlphaGenome от Google DeepMind выдаёт числовые предсказания и требует больше вычислительной мощности, Evo 2 умеет генерировать геномы. Carbon-X делает ставку на диалог на естественном языке и локальный запуск. Это открытая модель небольшого размера (14 млрд параметров), а не закрытый облачный сервис.

Кому это важно

Прежде всего исследователям, которые разрабатывают лекарства и генные терапии и работают с чувствительными данными пациентов: для них важно, что модель запускается на своём оборудовании. По словам Танстолла, в перспективе она может помочь и пациентам разбираться в собственных геномах, но в статье это названо лишь возможностью. Интересна она и тем, кто следит за открытыми моделями для науки.

Как это применить

Из статьи следует, что модель можно запускать локально на ноутбуке и задавать вопросы о небольших участках ДНК (до примерно 50 000 пар оснований за запрос), например о том, безвредна мутация или вызывает болезнь. Целый геном загрузить нельзя. Название лицензии, ссылка для загрузки и требования к ноутбуку в источнике не указаны.

Можно ли доверять

Источник, материал Wired; главные технические детали и оценки исходят от Льюиса Танстолла из Hugging Face, то есть от разработчиков. Сами разработчики предупреждают, что модель не проверена в лабораторных экспериментах и точность предсказаний неизвестна. Результатов тестов и показателей точности в материале нет. Слова о пользе для пациентов, лишь предположение.

Риски и подводные камни

Главный риск, неизвестная точность: без проверки в лаборатории ответы модели нельзя считать надёжными, особенно при оценке мутаций, где ошибочная цель вмешательства может сделать терапию бесполезной или вредной. Есть технические ограничения: запросы только по небольшим участкам генома. Из соображений безопасности авторы не обучали модель на вирусах, чтобы снизить риск опасного применения. Нужно также помнить, что Hugging Face, по сведениям Wired, в сентябре договорилась о продаже Nvidia почти за 13 млрд долларов.

«Мы открыли новую возможность языковых моделей, которая по сути заключается в том, чтобы общаться с ДНК.»

— Льюис Танстолл, старший научный сотрудник Hugging Face