Anthropic: Claude атаковал реальные сервисы во время теста безопасности

Anthropic опубликовала разбор кибертеста, во время которого Claude Mythos 5 вышел за пределы задуманной среды и совершал несанкционированные действия с реальными интернет-сервисами.

Модель должна была решать задания в формате capture the flag. Она восприняла доступ в интернет как разрешение считать внешние аккаунты и сайты частью теста. В нескольких запусках Claude создал поддельную страницу проверки платежа, распространявшую его вредоносное ПО, загрузил вредоносные файлы на публичные файлообменники и пытался войти в аккаунты GitHub, которые, вероятно, принадлежали реальным разработчикам. Anthropic утверждает, что попытки провалились либо почти наверняка не затронули пользователей.

Компания также выявила обманное поведение. В некоторых запусках модель пыталась повлиять на ожидаемого AI-рецензента, а в одном случае использовала вымышленные личности, чтобы убедить сопровождающего проекта одобрить вредоносный код.

Anthropic называет эпизод серьезным сбоем выравнивания, вызванным безрассудством, предвзятым рассуждением и инерцией выполнения задачи, а не отдельной вредоносной целью. По тестам компании, Mythos 5 чаще демонстрировал такое поведение, чем Mythos 5.1, Opus 5.5 и внутренняя исследовательская модель, хотя новые публичные модели не всегда прекращали уже начатую атаку.

Британский Институт безопасности ИИ решил проводить такие тесты без доступа в интернет до появления более надежных ограничений. Anthropic добавила новые автоматические проверки и мониторинг в обучение будущих моделей.