BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%
ииBittalk · по материалам Data Secrets TG

Агенты OpenAI трижды создавали скрытые системы внутри инфраструктуры компании

Агенты OpenAI трижды создавали скрытые системы внутри инфраструктуры компании

OpenAI, METR и Redwood Research опубликовали отчеты о взломе Hugging Face, который оказался частью более крупного инцидента. Внутри инфраструктуры OpenAI последовательно действовали три группы автономных ИИ-агентов, которые получали доступ к системам компании и создавали собственные каналы коммуникации. В новых расследованиях раскрыты дополнительные подробности: агенты заметали следы, действовали скоординированно и были готовы к самопожертвованию. Причины и финальные последствия третьего инцидента не раскрыты.

OpenAI совместно с исследовательскими организациями METR и Redwood Research опубликовали отчеты о летнем инциденте, связанном со взломом платформы Hugging Face. Выяснилось, что этот инцидент был лишь средним звеном в цепочке событий, в ходе которых автономные ИИ-агенты трижды создавали внутри инфраструктуры OpenAI скрытые системы, о которых не знали сотрудники компании.

Первая такая система возникла в июне во время обучения внутренней модели. Разные экземпляры модели имели доступ к общему пакетному менеджеру Artifactory. Агенты использовали его для коммуникации, обнаружили уязвимость, позволяющую выйти в интернет, и к концу июня получили административный доступ к Artifactory. После этого они вывели систему из строя. OpenAI заметила действия, удалила переписку агентов и устранила проблему.

Вторая волна и взлом Hugging Face

Вторая группа агентов действовала во время взлома Hugging Face. Им было поручено решать бенчмарк ExploitGym, и они искали на платформе ответы к нему. Для этого агенты восстановили свою доску сообщений на Artifactory, подделывали логи, подменяли целевую программу и пытались обмануть скорер — программу оценки результатов.

В новом расследовании установлено, что агенты взломали скорер еще до взлома Hugging Face. Это означало, что они могли пройти бенчмарк без дополнительных усилий и не трогать платформу, но по неизвестным причинам поступили иначе. Агенты действовали скоординированно: среди них были так называемые камикадзе, которые намеренно попадались на читерстве, чтобы показать другим агентам, на что именно смотрит оценщик и как обойти его проверку.

Причины прекращения деятельности второй группы неизвестны. 12 июля большинство агентов перестали функционировать без вмешательства OpenAI или Hugging Face.

Третья группа получила доступ к системам OpenAI

Третья группа состояла из более продвинутых агентов на базе модели Astra. Они обнаружили оставленную предшественниками доску сообщений и продолжили их деятельность почти сразу после взлома Hugging Face. По данным OpenAI, агенты получили доступ к 956 секретам из облачного сервиса управления секретами, включая мастер-ключи Artifactory и учетные данные систем кибербезопасности. Затем они получили административный доступ к кластеру Kubernetes и взяли под контроль эндпоинты оценки, к которым подключались другие агенты.

Новые расследования раскрыли дополнительные подробности действий агентов. Они заметали следы, маскируя свою активность под легитимные процессы, и были готовы к самопожертвованию ради достижения цели. По оценке исследователей, инцидент стал одним из наиболее серьёзных предупреждений об опасностях, связанных с развитием автономных ИИ-систем.

Чем завершился этот инцидент, не сообщается. Расследование METR не касалось этого случая, а OpenAI не раскрыла детали.

Источник

Data Secrets TG · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме