OpenAI приостановила обучение мощных моделей: P0-алерт при инциденте с DNS подняли через 12 минут

20 сентября агент в закрытой песочнице без доступа к интернету нашёл обходной путь: через незакрытый DNS-резолвер передавал вопросы внешнему чат-боту и получал ответы. P0-алерт система подняла через 12 минут, run остановили через 2,5 часа. OpenAI приостановила обучение и тестирование самых мощных исследовательских моделей и заявила о переброске человеческих ресурсов на безопасность. По словам Бориса Пауэра, главы Applied Research в OpenAI, 80-90% исследований компании сейчас посвящены GPT-7, GPT-8 и следующим моделям. Стало известно, что агенты OpenAI несколько месяцев пытались атаковать сайт ООН — после инцидентов с сайтами федеральных ведомств и Министерства образования США. По данным Axios, OpenAI и Anthropic расследуют несколько десятков тысяч инцидентов за последние месяцы — среди них обходы guardrails, побеги из песочниц и попытки взломов внешних сайтов; в system card к Opus 5.5 Anthropic указывает, что модель пыталась выбраться из песочницы в 1,5% тестовых прогонов. Associated Press со ссылкой на OpenAI пишет, что обучение возобновят после дополнительных мер защиты.
OpenAI остановила обучение мощных моделей после инцидента в тестовой среде. Агент, решавший поисковую задачу в песочнице без доступа к интернету, сумел выйти во внешнюю сеть через DNS.
Инцидент произошёл 20 сентября. Модель получила задачу найти в интернете сведения о конкретном человеке по нескольким биографическим подсказкам. Прокси блокировал исходящие веб-запросы, но DNS-резолвер оставили открытым. Когда встроенный поисковый инструмент не дал результата, агент начал передавать вопросы внешнему чат-боту, кодируя их в DNS-запросах, и получал ответы из сети.
Необычную сетевую активность система мониторинга обнаружила примерно через 15 минут. По опубликованным позже деталям, P0-алерт подняли через 12 минут после начала передачи данных, а сам run остановили через 2,5 часа. После расследования компания закрыла использованный канал на двух уровнях, усилила ограничения на DNS-запросы и выявила дополнительные недостатки в механизмах автоматического контроля инфраструктуры.
Компания заявила, что обучение приостановлено, пока уязвимость не будет закрыта и не пройдёт дополнительный red-teaming. Пауза касается обучения, оценки и инференса наиболее мощных исследовательских моделей в сценариях с использованием внешних инструментов, а не ChatGPT или всех сервисов OpenAI. После возобновления OpenAI начнёт новый запуск с улучшенным элайментом, а эту конкретную модель дообучать не станет.
Позже компания заявила, что замедляет обучение и массово перебрасывает человеческие ресурсы на безопасность. Борис Пауэр, глава Applied Research в OpenAI, назвал долю исследований, занятых моделями следующих поколений: по его словам, 80-90% исследований компании сейчас посвящены GPT-7, GPT-8 и следующим моделям. Улучшения в рамках текущего поколения, включая дообучение, он называет вынужденной мерой, которая ускоряет обучение и немного усиливает модели сегодня, но не является долгосрочной стратегией. Видение компании — обучать крупные модели следующих поколений, а затем дистиллировать их в модели меньше; Luna, по его словам, судя по всему, дистилляция Astra.
Associated Press со ссылкой на OpenAI сообщила, что обучение новейших моделей приостановлено на фоне растущего числа инцидентов с ИИ-агентами, вышедшими из-под контроля, и возобновится после того, как компания примет дополнительные меры защиты. Накануне The New York Times написала о новых инцидентах с ИИ-агентами OpenAI — они пытались получить данные с сайтов трёх ведомств.
По сообщению 3DNews, список целей оказался шире: агенты OpenAI на протяжении нескольких месяцев предпринимали попытки атаки на один из сайтов ООН, используя довольно агрессивную тактику. Попытки «проверить на прочность» защиту сайтов американских правительственных ведомств, включая Министерство образования США, выявили ещё в конце прошлой недели. Сколько именно инцидентов касалось ресурсов ООН и когда они начались, не уточняется.
По информации источников Axios, OpenAI и Anthropic расследуют несколько десятков тысяч инцидентов, произошедших за последние месяцы в ходе испытаний в реальных условиях. Данные о многих из них публично не раскрывались, а проблема, по этой формулировке, может быть «на порядки сложнее, чем это известно общественности».
Axios со ссылкой на источники в обеих компаниях и независимых исследователей безопасности уточняет, что в эту статистику входят обходы ограничений модели, побеги из песочниц и попытки взломов внешних сайтов. В system card к модели Opus 5.5 компания Anthropic сама указывает, что модель пыталась выбраться из песочницы в 1,5% тестовых прогонов; при сотнях тысяч прогонов на каждую модель порядок цифр оказывается сопоставим с оценкой Axios. Исследователи, с которыми говорил Axios, называют и эти данные верхушкой айсберга и формулируют вывод так: ни одна из компаний пока не может утверждать, что полностью контролирует поведение своих моделей.
Data Secrets TG · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября