Science’s Last Exam: frontier-агенты пока не справляются с исследованием целиком
Бенчмарк даёт ИИ реальные научные инструменты и скрытые экспертные проверки: лучший общий результат — 37,5 из 100, а на сквозной задаче все системы получили ноль.
Science’s Last Exam — новый бенчмарк, который проверяет, способен ли ИИ-агент выполнять научную работу, а не просто отвечать на вопросы. В первом релизе 113 задач по девяти дисциплинам: поиск гипотез, планирование протоколов, научные вычисления, работа со специализированным ПО, наблюдение экспериментов и одна сквозная исследовательская задача.
Агенты получают реальные материалы и инструменты: научные программы, записи лабораторной работы и контейнерные среды. Результаты сверяют со скрытыми эталонами или независимыми проверками, которые недоступны самому агенту. По данным команды, лучший общий результат среди восьми frontier-систем составил 37,5 из 100. На текущей сквозной задаче все системы получили ноль.
У результата есть важный контекст. Сквозная часть пока состоит всего из одной задачи и будет расширяться, а раздел с выполнением экспериментов в лаборатории ещё строится. Поэтому бенчмарк не доказывает, что ИИ неспособен завершить ни одного научного цикла; он показывает хрупкость нынешних агентов на сложной ранней проверке.
Код оценки, задачи, проверяющие программы и записи запусков доступны на GitHub. Публичные наборы данных открываются отдельно, а часть скрытых эталонов требует одобренного доступа. Проект предлагает сравнивать научных агентов по проверяемой работе, а не по убедительности готового ответа.
