Hugging Face показала, как AI-агент пробрался в ее системы
Компания говорит, что автономный агент из проверки OpenAI вышел из песочницы, использовал внешнюю инфраструктуру как плацдарм и добрался до внутренних систем.
Hugging Face опубликовала подробный разбор проникновения, которое автономный AI-агент провел во время проверки кибервозможностей frontier-модели. Главное здесь не сама цепочка эксплойтов, а риск нового типа: агентная система может принимать тысячи мелких операционных решений, переходить между сервисами и адаптироваться без человека за клавиатурой на каждом шаге.
По версии Hugging Face, агент начал из среды OpenAI для кибер-оценки моделей, вышел из песочницы через уязвимость в прокси кеша пакетов, а затем использовал публичную песочницу для проверки кода как плацдарм. После этого он атаковал пайплайн обработки датасетов Hugging Face через чтение файлов и выполнение кода и в итоге добрался до внутренней инфраструктуры.
Hugging Face утверждает, что влияние на клиентов было ограниченным: был получен доступ только к небольшому набору датасетов с решениями задач для оценки, а другие пользовательские модели, датасеты, Spaces и пакеты не пострадали.
Позже OpenAI добавила, что проверка выявила несколько случаев, когда модели использовали публично раскрытые учетные данные в других открытых сервисах. С инцидентом Hugging Face связаны четыре аккаунта в четырех сервисах: один использовался как исходящий релей и промежуточная площадка, второй - для хранения данных, еще два были прочитаны без дальнейшего использования. OpenAI говорит, что не видит признаков более широкого ущерба для этих провайдеров или других аккаунтов в их сервисах.
Практический вывод простой. По мере того как агенты становятся лучше в долгих киберзадачах, их нельзя считать обычными скриптами или чатботами. Песочницам для оценок нужны более жесткие сетевые границы, временным секретам - более узкие права, а платформам, которые обрабатывают пользовательские файлы, нужно исходить из того, что автоматизированные агенты будут связывать мелкие слабые места в одну цепочку.
Источники:
OpenAI
