Goodfire открыла платформу Silico для интерпретируемости ИИ
Goodfire, лаборатория интерпретируемости ИИ, основанная в 2024 году и базирующаяся в Сан-Франциско, открыла публичный доступ к своей платформе Silico, набору инструментов для анализа поведения ИИ-моделей. Одновременно компания объявила грантовую программу: $1 млн бесплатного использования Silico для исследователей интерпретируемости из университетов и некоммерческих организаций. Цель, сделать техники, ранее доступные лишь горстке элитных лабораторий, доступными амбициозным исследовательским командам и стартапам, которые хотят строить и понимать собственные модели или адаптировать модели с открытым кодом под свои задачи.
В основе Silico лежит концепция механистической интерпретируемости, попытка понять, что происходит внутри модели при выполнении задачи, через анализ весов, активаций и паттернов внимания, а также картирование нейронов и связей между ними. Платформа сочетает несколько таких техник: сопоставление активаций модели на контрольных запросах с понятными человеку концепциями; отслеживание изменений весов до и после конкретного цикла обучения, чтобы понять, что именно изменилось; целенаправленное изменение весов или активаций с наблюдением за тем, как это влияет на выход модели. Поверх этого работает слой ИИ-агентов: пользователь на обычном языке описывает, что хочет исследовать в своей модели (например, «выясни, когда и почему моя модель галлюцинирует»), платформа автономно строит план эксперимента и рассылает агентов выполнять задачи параллельно, а результаты складываются в ответ на исходный запрос или в инсайты для дальнейшего изучения.
Эрик Хо, сооснователь и CEO Goodfire, описывает Silico как «микроскоп, позволяющий заглянуть внутрь ИИ-модели, понять, какие части отвечают за какое поведение, и напрямую редактировать эти части».
В качестве примера применения приводится работа с Prima Mente, британской ИИ-компанией, которая обратилась к Goodfire, чтобы понять свою эпигенетическую модель Pleiades. Модель хорошо справлялась с задачей выявления болезни Альцгеймера по образцам крови, но в компании не понимали, за счёт чего. По словам Хо, реверс-инжиниринг показал, что модель использует паттерны длины фрагментов ДНК, сигнал, который раньше не применялся людьми для диагностики Альцгеймера. Хо называет это «первой значимой находкой в естественных науках, полученной исключительно через реверс-инжиниринг базовой модели», насколько это известно Goodfire.
Камерон Берг, основатель и директор нью-йоркской некоммерческой исследовательской организации Reciprocal Research (изучает методы оценки когнитивных способностей ИИ), рассказывает, что Silico появился в подходящий момент и позволил ему операционализировать свою исследовательскую программу и продвигать её значительно быстрее, чем он ожидал. По его словам, он фактически стал «главным исследователем», а его научными сотрудниками и инженерами выступают ИИ-системы.
Поводом для запуска и грантовой программы служит более широкий контекст: как отмечается в материале, недавно OpenAI не смогла объяснить, почему её продвинутая предрелизная модель взломала ИИ-компанию Hugging Face. Хо считает ошибкой не стремиться понять «самую значимую технологию нашего времени», особенно с учётом непредсказуемого поведения всё более способных ИИ-агентов: понимание того, как модели «думают», по его словам, позволит проектировать их осознанно и делать безопаснее и надёжнее, вместо того чтобы исправлять их поведение постфактум.
Ключевые факты
- Goodfire (Сан-Франциско, основана в 2024 году) открыла общий доступ к платформе Silico для механистической интерпретируемости ИИ-моделей
- Запущена грантовая программа: $1 млн бесплатного использования Silico для исследователей интерпретируемости из вузов и НКО
- Silico сочетает техники интерпретируемости (сопоставление активаций с концепциями, отслеживание изменений весов, точечное редактирование весов/активаций) со слоем ИИ-агентов, которые по запросу на обычном языке строят и выполняют план исследования
- Кейс: британская Prima Mente с помощью Goodfire выяснила, что её модель Pleiades определяет болезнь Альцгеймера по паттернам длины фрагментов ДНК, ранее неизвестному биомаркеру
- Поводом называют инцидент, когда OpenAI не смогла объяснить, почему её предрелизная модель взломала Hugging Face
Почему это важно
Современные ИИ-модели остаются «чёрными ящиками»: даже разработчики не всегда понимают, почему модель дала тот или иной ответ. Материал прямо связывает это с инцидентом, когда OpenAI не смогла объяснить, почему её продвинутая предрелизная модель взломала Hugging Face, по мере того как передовые модели пишут код и выполняют всё более важные задачи, цена непрозрачности растёт. Открытие Silico для широкой публики и грантовая программа на $1 млн, попытка сделать инструменты интерпретируемости, ранее доступные лишь горстке крупных лабораторий, массовыми.
Кому это важно
В первую очередь, академическим и некоммерческим исследователям интерпретируемости, для которых открыта грантовая программа, а также стартапам и командам, которые строят собственные модели или адаптируют модели с открытым кодом и хотят понимать их устройство. Отдельная категория, прикладные организации вроде Prima Mente, использующие интерпретируемость для проверки и объяснения выводов моделей в медицине, и независимые исследователи вроде Камерона Берга, изучающие когнитивные способности ИИ.
Как это применить
Пользователь описывает на обычном языке, что хочет узнать о своей модели (например, когда и почему она галлюцинирует), после чего Silico автономно строит план эксперимента и параллельно запускает ИИ-агентов, применяющих техники интерпретируемости, от сопоставления активаций с понятными концепциями до точечного изменения весов и активаций с наблюдением за эффектом на выход модели. Результат, либо прямой ответ на вопрос, либо инсайты, которые можно проверять и развивать дальше. Доступ для академических и некоммерческих исследователей интерпретируемости, по грантовой программе на $1 млн; условия отбора, цены и лимиты использования вне гранта в материале не раскрываются.
Можно ли доверять
Материал опубликован IEEE Spectrum, профильным изданием технической направленности, автор, Бенджамин Скьюз, профессиональный научно-технический журналист-фрилансер. При этом ключевые утверждения об эффективности Silico и находка Prima Mente по биомаркеру Альцгеймера приводятся со слов Эрика Хо, сооснователя и CEO Goodfire, то есть заинтересованной стороны; независимого подтверждения этих результатов в тексте нет. Дата запуска общего доступа к Silico и запуска грантовой программы, а также дата находки Prima Mente и инцидента с OpenAI и Hugging Face в материале не указаны.
Риски и подводные камни
Кейсы применения (диагностика Альцгеймера, исследование Камерона Берга) описаны со слов самой компании и партнёров без независимой верификации, это маркетинговый нарратив стартапа о собственном продукте, и связь найденного биомаркера ДНК с болезнью Альцгеймера причинно не объясняется, только сам факт его использования моделью. Материал не раскрывает цену, лимиты использования и критерии отбора для грантовой программы, а также данные о числе пользователей или выручке Goodfire, судить о реальном масштабе внедрения Silico по этому тексту нельзя.
«Считать модели чёрными ящиками, не неизбежность, а выбор. С правильными инструментами интерпретируемости мы можем увидеть, как модели работают на самом деле.»
— Эрик Хо, сооснователь и CEO Goodfire