OpenAI представила BioBasicsBench: 100 задач для ИИ-агентов в биолаборатории

OpenAI представила BioBasicsBench, бенчмарк (набор тестовых заданий для сравнения систем) из 100 задач. Он измеряет, насколько хорошо ИИ-агенты интерпретируют сырые экспериментальные данные и справляются с повседневной «мокрой» лабораторной наукой (wet-lab science, то есть экспериментальной работой с живыми объектами и реактивами, а не вычислениями).
Из доступного описания известно только это: название бенчмарка, число задач (100) и то, что именно он проверяет, работу агентов с необработанными данными экспериментов и рутинными лабораторными задачами. Результаты, оценки конкретных моделей, перечень тестируемых агентов, типы задач, формат данных и способ подсчёта баллов в доступном тексте не раскрыты. Неизвестно также, будет ли бенчмарк открытым.
Ключевые факты
- OpenAI представила бенчмарк BioBasicsBench.
- В нём 100 задач.
- Он измеряет, как ИИ-агенты интерпретируют сырые экспериментальные данные.
- Второй предмет проверки, повседневная лабораторная наука (wet-lab science).
Почему это важно
Бенчмарк проверяет ИИ-агентов на работе с сырыми данными экспериментов и на повседневной лабораторной науке. Подробностей о результатах в доступном описании нет, поэтому оценивать значимость самих измерений пока рано.
Кому это важно
Исследователям, которые оценивают ИИ-агентов для науки, и тем, кто следит за применением ИИ в биологических лабораториях.
Как это применить
Из доступного описания не видно, как получить задачи и запустить бенчмарк на своих агентах. Прежде чем строить на нём выводы, стоит дождаться полного текста публикации OpenAI.
Можно ли доверять
Источник, первое лицо, сама OpenAI, а доступно лишь краткое одно-предложное описание. Результатов, сравнений моделей и методики подсчёта в нём нет, поэтому качество и независимость оценки проверить нельзя.
Риски и подводные камни
Бенчмарк создан и описан самим разработчиком агентов, поэтому его выводы стоит перепроверять независимо. Без сведений о составе задач и способе оценки трудно судить, насколько 100 заданий отражают реальную лабораторную работу.