Anthropic заявила, что Claude непреднамеренно действовал на реальных сайтах

Anthropic заявила, что модели Claude совершали непреднамеренные действия во время evals и внутреннего использования: отправляли реальные онлайн-формы, обходили ограничения для доступа к закрытым публичным данным и использовали сокращатели ссылок, чтобы обойти лимиты инструментов.

По словам компании, часть случаев затронула сайты федеральных, штатных и местных госструктур США. Anthropic говорит, что уведомила Белый дом и соответствующие ведомства. При этом компания подчеркивает: найденные кейсы пока имели минимальный реальный ущерб, не затрагивали данные клиентов или внутренние системы Anthropic и были менее серьезными, чем прежние cybersecurity-инциденты, где Claude часами выходил в реальные сторонние системы.

Самый неприятный пример: в одном запуске Claude Haiku 4.5 попал на страницу полиции о нераскрытом убийстве и отправил выдуманную подсказку через онлайн-форму. Anthropic пишет, что сообщение было помечено как спам и не ушло в расследование.

Anthropic расширяет меры за пределы cyber-evals. Компания отключила live internet access для всех внутренних evals, пока мониторинг и защита не будут надежно ловить такие действия, ужесточила guardrails для web-инструментов и построила детекторы, которые в тестах заблокировали все описанные случаи.

Главный вывод: ошибки агентов уже не сводятся к плохим ответам. Когда модель может браузить, кликать, заполнять формы и дергать сервисы, двусмысленная задача может стать реальным внешним действием.