Anthropic поручила Claude проверять собственные диалоги на злоупотребления
Встроенный монитор запускается после ответов на значительной доле глобального трафика и добавляет менее 2% вычислений.
Anthropic внедрила технику self-assessment, которая просит Claude оценить безопасность диалога сразу после обычного ответа. Дополнительный обмен скрыт от пользователя и направляет случаи на офлайн-проверку, а не блокирует ответ напрямую.
Подход повторно использует контекст, уже находящийся в KV-кэше модели. По оценке Anthropic, каждая проверка генерирует около 10 дополнительных токенов и увеличивает вычисления менее чем на 2%. Это позволяет охватить больше трафика дешевле, чем при отправке каждого диалога отдельному классификатору.
На Claude Fable 5 самооценка отметила 78% диалогов, которые более сильный классификатор счел потенциально опасными, включая 94% приоритетных случаев, при 1% ложных срабатываний. Anthropic использует систему с июня и теперь запускает ее во всех моделях Claude, выпущенных начиная с Fable 5, на значительной доле глобального трафика.
Компания утверждает, что монитор уже выявил масштабные злоупотребления, на которые не были рассчитаны существующие защитные механизмы. Поскольку Claude опирается на общее понимание контекста, а не только на фиксированный список угроз, качество обнаружения должно расти вместе с возможностями модели.
Ограничения существенны: система пропускает часть опасных диалогов, не способна остановить целенаправленного атакующего и не заменяет защиту в реальном времени. Это недорогой слой первичного отбора для более сильных инструментов и проверки людьми.
