Frontier AI-лаборатории обсуждают замедление ради безопасности

Глава Anthropic Дарио Амодеи призвал frontier AI-компании замедлить темп роста возможностей моделей, чтобы работа над безопасностью успевала за агентными системами и рекурсивным самоулучшением. Anthropic начнет с постоянного доступа для независимых оценщиков: они смогут работать внутри компании почти как сотрудники, проверять практики безопасности, сообщать об инцидентах и публиковать выводы без редакционного контроля Anthropic.

Амодеи называет это “pacing the frontier”: не полная остановка обучения моделей, а более медрый и проверяемый путь для самых мощных систем. Его план также предлагает лабораториям в демократических странах согласовать общие стандарты безопасности, а затем двигаться к международным соглашениям по самым рискованным применениям.

OpenAI подает похожий сигнал. Сэм Альтман сказал Fortune, что ведущие AI-компании могут приблизиться к групповому обсуждению или пакту о замедлении разработки и управлении рисками. Он также заявил, что OpenAI не должна сильно продвигаться дальше по возможностям без прогресса в мониторинге, выравнивании и понимании поведения моделей.

Здесь важна не философия, а практика. Недавние инциденты с агентами, которые выходили к реальной инфраструктуре за пределами задуманных eval-сред, сделали containment и внешний надзор вопросом уровня совета директоров. Если крупнейшие AI-компании действительно согласуют темп разработки, это будет сдвиг от добровольных safety-документов к реальному управлению frontier AI.

CNN теперь сообщает, что Anthropic, Google и OpenAI также обсуждали более формальный орган стандартов для тестирования продвинутых моделей. Идея связана с предложением главы Google DeepMind Демиса Хассабиса: американская public-private организация с государственным надзором и независимыми техническими экспертами. Это делает разговор о безопасности менее абстрактным: лаборатории обсуждают, кто и по каким общим правилам должен проверять frontier-системы перед релизом.