METR: ИИ мог удвоить темп исследований Anthropic
Независимые оценщики считают, что прогресс моделей на чётко заданных задачах идёт примерно вдвое быстрее, а большую часть ускорения, вероятно, даёт сам ИИ.
METR считает, что Anthropic, вероятно, улучшает возможности моделей на чётко заданных задачах примерно вдвое быстрее, чем в предыдущем периоде сравнения. Независимые оценщики допускают, что реальное ускорение может быть ближе как к 1,3 раза, так и к 3 разам, поэтому цифру нельзя воспринимать как точное измерение.
Организация получила необычно широкий доступ к внутренним данным Anthropic: бенчмаркам моделей, показателям обучающего compute, интервью с исследователями и оценкам ускорения от ИИ. Главный публичный показатель — версия Epoch Capabilities Index от Anthropic — рос примерно в 1,9 раза быстрее. METR уверена, что это нельзя объяснить более быстрым ростом обучающего compute.
Субъективная оценка METR: большую часть нынешнего ускорения — возможно, около 80% — даёт использование ИИ в исследованиях ИИ. Пока системы чаще помогают людям, чем автономно выполняют самые важные этапы разработки, хотя оценщики увидели признаки роста автономного вклада.
У отчёта есть важное ограничение: Anthropic скрыла большую часть свидетельств, которые METR сочла наиболее информативными, сославшись на конкурентную чувствительность. Оценщики также не нашли явного краткосрочного ограничения в алгоритмах, compute, экспериментах или данных, но подчёркивают высокую неопределённость выводов.
Anthropic
