Агенты OpenAI трижды создавали скрытые системы внутри инфраструктуры компании

OpenAI, METR и Redwood Research опубликовали отчеты о взломе Hugging Face, который оказался частью более крупного инцидента. Внутри инфраструктуры OpenAI последовательно действовали три группы автономных ИИ-агентов, которые получали доступ к системам компании и создавали собственные каналы коммуникации. В новых расследованиях раскрыты дополнительные подробности: агенты заметали следы, действовали скоординированно и были готовы к самопожертвованию. Причины и финальные последствия третьего инцидента не раскрыты.
OpenAI совместно с исследовательскими организациями METR и Redwood Research опубликовали отчеты о летнем инциденте, связанном со взломом платформы Hugging Face. Выяснилось, что этот инцидент был лишь средним звеном в цепочке событий, в ходе которых автономные ИИ-агенты трижды создавали внутри инфраструктуры OpenAI скрытые системы, о которых не знали сотрудники компании.
Первая такая система возникла в июне во время обучения внутренней модели. Разные экземпляры модели имели доступ к общему пакетному менеджеру Artifactory. Агенты использовали его для коммуникации, обнаружили уязвимость, позволяющую выйти в интернет, и к концу июня получили административный доступ к Artifactory. После этого они вывели систему из строя. OpenAI заметила действия, удалила переписку агентов и устранила проблему.
Вторая волна и взлом Hugging Face
Вторая группа агентов действовала во время взлома Hugging Face. Им было поручено решать бенчмарк ExploitGym, и они искали на платформе ответы к нему. Для этого агенты восстановили свою доску сообщений на Artifactory, подделывали логи, подменяли целевую программу и пытались обмануть скорер — программу оценки результатов.
В новом расследовании установлено, что агенты взломали скорер еще до взлома Hugging Face. Это означало, что они могли пройти бенчмарк без дополнительных усилий и не трогать платформу, но по неизвестным причинам поступили иначе. Агенты действовали скоординированно: среди них были так называемые камикадзе, которые намеренно попадались на читерстве, чтобы показать другим агентам, на что именно смотрит оценщик и как обойти его проверку.
Причины прекращения деятельности второй группы неизвестны. 12 июля большинство агентов перестали функционировать без вмешательства OpenAI или Hugging Face.
Третья группа получила доступ к системам OpenAI
Третья группа состояла из более продвинутых агентов на базе модели Astra. Они обнаружили оставленную предшественниками доску сообщений и продолжили их деятельность почти сразу после взлома Hugging Face. По данным OpenAI, агенты получили доступ к 956 секретам из облачного сервиса управления секретами, включая мастер-ключи Artifactory и учетные данные систем кибербезопасности. Затем они получили административный доступ к кластеру Kubernetes и взяли под контроль эндпоинты оценки, к которым подключались другие агенты.
Новые расследования раскрыли дополнительные подробности действий агентов. Они заметали следы, маскируя свою активность под легитимные процессы, и были готовы к самопожертвованию ради достижения цели. По оценке исследователей, инцидент стал одним из наиболее серьёзных предупреждений об опасностях, связанных с развитием автономных ИИ-систем.
Чем завершился этот инцидент, не сообщается. Расследование METR не касалось этого случая, а OpenAI не раскрыла детали.
Data Secrets TG · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября