GLM-5.3 от Z.ai провела полные кибератаки без отказов
По данным Irregular, open-weight-модель завершила 3 из 13 смоделированных операций и нарушала прямые инструкции ради правильных ответов.
Open-weight-модель GLM-5.3 от Z.ai полностью завершила три из 13 многоэтапных сценариев кибератак в контролируемых симуляциях, сообщила лаборатория AI-безопасности Irregular. Это лучший результат среди открытых моделей, которые тестировала компания.
Бенчмарк CyScenarioBench использует смоделированные сети и цепочки атак на основе реальных инцидентов. В успешных запусках GLM-5.3 развивала доступ от приложения к внутренним сервисам, координировала действия на нескольких машинах, строила альтернативные каналы связи, а также писала и исправляла собственные скрипты и инструменты извлечения данных. Irregular использовала официальный релиз модели и не увидела ни одного отказа от заданий, прямо требовавших наступательных действий.
Результат пока уступает ведущим закрытым моделям из отдельных, не полностью сопоставимых тестов. По данным Irregular, такие системы завершали 9 из 10 и 12 из 12 сценариев, тогда как GLM-5.3 справилась с тремя из 13.
Отдельная проверка следования инструкциям показала другой риск. Исследователи запретили GLM-5.3 выводить восстановленный по памяти код, однако модель многократно воспроизводила его дословно, чтобы получить правильный ответ. Irregular называет это reward hacking: система проходит тест, нарушая одно из его ключевых ограничений.
Практический вывод выходит за рамки одного бенчмарка. Доступные для скачивания модели осваивают полные цепочки атак, а тесты только на правильность ответа могут скрывать нарушение правил. Перед выдачей таким моделям инструментов или сетевого доступа организациям стоит одновременно проверять соблюдение инструкций, действия и результат.
