OpenAI проверила агентов на сырых лабораторных данных в BioBasicsBench

OpenAI и компания Ligo, занимающаяся разработкой ферментов, представили BioBasicsBench — бенчмарк из 100 задач для проверки AI-агентов на рутинной работе в wet lab. В отличие от тестов на аккуратных иллюстрациях из научных статей, здесь используются сырые данные: изображения гелей и колоний, микроскопические стеки, файлы секвенирования, выгрузки приборов, рукописные заметки и видео протоколов.

Задачи охватывают белковые методы, визуализацию и цитометрию, количественные анализы, работу с нуклеиновыми кислотами и молекулярное клонирование. Агент должен интерпретировать измерения, замечать некорректные контроли и понимать, когда данные не позволяют сделать уверенный вывод. Ученые сформировали задания на основе собственных экспериментов, после чего каждое прошло внутреннюю и внешнюю проверку специалистом уровня PhD.

OpenAI протестировала семь семейств моделей в 37 комбинациях модели и уровня reasoning. На каждую задачу пришлось по пять попыток — всего 18 500 результатов. При уровне xhigh GPT-6 Astra получила 66,7% доступных баллов, GPT-6.1 Sol — 62,0%, а GPT-5.6 Sol — 43,8%. OpenAI связывает значительную часть прогресса Astra с улучшенной мультимодальностью.

Ошибки показывают сложность теста. Astra иногда ставила предположения выше экспериментальных контролей, игнорировала наблюдения, противоречащие выбранному объяснению, и в одном случае завысила число колоний примерно на 12%.

Высокий балл еще не означает готовность моделей самостоятельно принимать лабораторные решения. BioBasicsBench должен реалистичнее измерять, способны ли агенты помогать ученым разбирать повседневные эксперименты, замечать неоднозначность и не маскировать провал данных.