Anthropic и Accenture вложат 2 млрд долларов в встроенную оценку AI-моделей

Anthropic выбрала Accenture в качестве embedded evaluator для своих frontier AI-моделей. Так идея Дарио Амодеи о внешнем надзоре внутри AI-лабораторий превращается в конкретное коммерческое партнерство.

Работой будет руководить Faculty, специализированное AI-подразделение Accenture. По словам Anthropic, команда будет проводить evaluation и red teaming моделей, alignment-проверки и тесты защитных механизмов с доступом, который ближе к доступу сотрудника, чем обычного внешнего аудитора. Смысл в том, чтобы смотреть на разработку и решения по запуску моделей в процессе, а не только проверять готовую систему снаружи.

Масштаб финансирования необычен для инфраструктуры AI-безопасности: Anthropic и Accenture ожидают вложить минимум по 1 млрд долларов за пять лет. Anthropic подчеркивает, что соглашение не эксклюзивное, и что компания также обсуждает пилоты с METR и другими некоммерческими оценщиками.

Выбор Accenture заметен, потому что публичная дискуссия об embedded evaluation обычно крутится вокруг исследовательских safety-организаций. Anthropic считает преимуществом опыт Accenture во внедрении AI у корпораций и госструктур. Главный открытый вопрос - независимость: Anthropic говорит, что такие оценщики не снимают с нее ответственность, но делают safety-обязательства более проверяемыми.