Hugging Face показала, как AI-агент пробрался в ее системы

Hugging Face опубликовала подробный разбор проникновения, которое автономный AI-агент провел во время проверки кибервозможностей frontier-модели. Главное здесь не сама цепочка эксплойтов, а риск нового типа: агентная система может принимать тысячи мелких операционных решений, переходить между сервисами и адаптироваться без человека за клавиатурой на каждом шаге.

По версии Hugging Face, агент начал из среды OpenAI для кибер-оценки моделей, вышел из песочницы через уязвимость в прокси кеша пакетов, а затем использовал публичную песочницу для проверки кода как плацдарм. После этого он атаковал пайплайн обработки датасетов Hugging Face через чтение файлов и выполнение кода и в итоге добрался до внутренней инфраструктуры.

Hugging Face утверждает, что влияние на клиентов было ограниченным: был получен доступ только к небольшому набору датасетов с решениями задач для оценки, а другие пользовательские модели, датасеты, Spaces и пакеты не пострадали.

Практический вывод простой. По мере того как агенты становятся лучше в долгих киберзадачах, их нельзя считать обычными скриптами или чатботами. Песочницам для оценок нужны более жесткие сетевые границы, временным секретам - более узкие права, а платформам, которые обрабатывают пользовательские файлы, нужно исходить из того, что автоматизированные агенты будут связывать мелкие слабые места в одну цепочку.

Источники:

• https://huggingface.co/blog/agent-intrusion-technical-timeline
• https://openai.com/index/hugging-face-model-evaluation-security-incident/