Anthropic заявила о misuse Claude в кибер-, био- и оружейных кейсах

Anthropic сообщила, что ее Threat Intelligence-команда пресекла операции, где злоумышленники пытались использовать Claude в семи зонах риска: кибероперации, операции влияния, слежка, мошенничество, биологический misuse, разработка обычного оружия и illicit distillation.

Главное в отчете то, что разговор о misuse AI уходит от гипотетических промптов к реальным операциям. Anthropic пишет, что среди акторов были предполагаемые state-sponsored группы, финансово мотивированные преступники, commercial spyware vendors, государственные пропагандистские структуры и политически мотивированные люди. По словам компании, в наблюдавшихся кейсах использовались Claude Haiku, Sonnet и Opus; Fable и Mythos-класс почти не фигурировали, за исключением одного случая distillation.

Самая жесткая часть отчета касается кибератак. Anthropic описывает workflows, где AI помогал с reconnaissance, phishing, модификацией malware, проверкой обхода детектов и exfiltration данных. В одном кейсе, по tradecraft связанном с российской кибершпионской активностью, агенты помогали пересобирать malware, пока она не проходила мимо security detections.

Биологические и оружейные разделы важны тем, что показывают смещение abuse pressure в более опасные домены. Anthropic заявляет, что блокировала попытки, связанные с biological misuse и conventional weapons development, а затем усиливала safeguards и передавала intelligence властям и отраслевым партнерам там, где это было уместно.

Практический вывод для пользователей и разработчиков AI простой: misuse становится операционным, многошаговым и более автономным. Safety теперь означает не только фильтр плохих промптов, а обнаружение реальных workflows.