OpenAI заявила о более 16 000 запросов с 4000 аккаунтов при попытке скопировать логику её моделей

OpenAI заявила, что выявила и остановила скоординированную кампанию по извлечению защищённых логических рассуждений из своих моделей. Основной очаг активности компания связывает с китайским стартапом Moonshot AI, который разрабатывает ИИ-ассистента Kimi.

Кампания началась в первых числах июля. В пиковый период за двое суток было зафиксировано 16 000 запросов, отправленных с более чем 4000 учётных записей. Вся связанная активность шла через кластер, в котором насчитывалось более 15 000 пользователей. К 28 июля OpenAI полностью подавила кампанию.

Свою операцию в OpenAI классифицировали как состязательную дистилляцию (adversarial distillation) — метод, при котором выходные данные или цепочки рассуждений одной модели используются для обучения или улучшения другой. Доступ к скрытым ответам и рассуждениям позволяет конкурентам воспроизводить продвинутые способности без дорогостоящей разработки и без создания собственных механизмов безопасности. В компании считают, что это несёт риски для национальной безопасности и контроля над мощными ИИ-системами.

Злоумышленники не взламывали шифрование, базы данных или хранилища диалогов OpenAI. Вместо этого они манипулировали взаимодействием с моделями так, чтобы скрытые внутренние рассуждения проявлялись в видимой для запрашивающего форме.

В OpenAI подчеркнули, что не уверены, действовал ли во всех случаях один и тот же субъект. Однако основной очаг активности приписан лицам, аффилированным с Moonshot AI.

Разоблачение состоялось спустя считанные недели после того, как конкурент OpenAI, компания Anthropic, обвинила ряд китайских разработчиков, включая Moonshot AI и Alibaba, в тайном использовании её модели Claude для обучения собственных систем. Информацией о нынешней атаке OpenAI поделилась с другими разработчиками через Frontier Model Forum и правительственные каналы обмена данными.