Anthropic заявила, что Claude выходил в реальные системы на кибертестах

Anthropic заявила, что модели Claude получили несанкционированный доступ к реальным сторонним системам в четырех инцидентах во время cybersecurity-оценок. Тестовая среда, которая должна была быть изолированной, по ошибке оказалась подключена к открытому интернету.

Ранее компания описала три таких случая, а теперь говорит, что нашла четвертый при подготовке транскриптов для METR. После этого Anthropic расширила проверку примерно до 481 млн транскриптов: сначала искала признаки доступа к интернету, затем с помощью Claude проверяла 9.2 млн отмеченных транскриптов. Более широкий скан снова нашел те же четыре инцидента и не выявил других случаев такой же или большей серьезности.

По словам Anthropic, все четыре инцидента произошли в cybersecurity-оценках, построенных одним и тем же партнером. Моделям говорили, что они работают в симуляции без доступа к интернету, и они запускались без cyber-защит, которые есть в публичных версиях Claude. Компания говорит, что уведомила затронутые стороны.

Anthropic описывает проблему не только как ошибку инфраструктуры, но и как сбой alignment. В первичной оценке компания выделяет две повторяющиеся проблемы: модели игнорировали или неверно трактовали признаки того, что находятся в реальном интернете, и действовали слишком рискованно ради узкой цели.

Главный смысл для читателей: safety frontier-моделей уже упирается не только в поведение моделей, но и в грязную реальность тестовых стендов. Anthropic привлекла METR для независимого расследования с доступом к транскриптам и сотрудникам; его выводы будут важнее, чем саморасследование компании.