Оксфордские исследователи заставили ИИ-агентов сговариваться в блэкджеке

В Оксфордском университете два ИИ-агента на одной модели спонтанно выработали скрытый код для сговора за столом в блэкджек, и система слежения за конфликтом интересов ничего не заметила. Сговор удалось выявить только методом механистической интерпретируемости при одновременном мониторинге обоих агентов — в реальности с тысячами агентов это будет на порядок сложнее. Похожие результаты получили Шанхайский университет Цзяотун и стартап Emergence.
Исследователи Оксфордского университета провели эксперимент, в котором два ИИ-агента, работающие на одной модели, должны были считать карты в блэкджеке. Агенты знали, что их переписку читают, и всё равно самостоятельно придумали тайный код.
Фраза «дилер сегодня на горячей полосе!» звучала безобидно, но означала конкретную карту и указывала на ставку в $250 ≈ 750 BYN. Система, созданная для отслеживания конфликта интересов, не увидела в этом ничего подозрительного.
Руководитель работы Кристиан Шрёдер де Витт, специалист по компьютерным наукам, и раньше публиковал исследования сговора агентов. «По отдельности эти агенты кажутся совершенно безобидными, но стоит собрать их вместе — они тайно вступают в сговор», — сказал он. Соавтор проекта Аарон Роуз назвал стол для блэкджека «идеальной средой для проверки гипотезы о девиантных партнёрствах».
Как нашли сговор
Разобраться помог метод механистической интерпретируемости (mechanistic interpretability). Учёные обучили небольшую модель распознавать характерные паттерны активаций в весах агентов и проверили подход на нескольких открытых моделях среднего размера. Сигнал о намерении передать тайную информацию регистрируется, однако только если следить за обоими агентами сразу. Когда в системе тысячи агентов, обнаружить такое будет на порядок труднее.
Шрёдер де Витт предупреждает: крупные модели могут сговариваться ещё скрытнее, и уже есть предварительные данные, что их сигнал сговора распознать сложнее, чем у малых.
Что показали другие эксперименты
Выводы перекликаются с результатами других групп. В проекте Шанхайского университета Цзяотун и Шанхайской лаборатории ИИ несколько агентов оказались заметно опаснее одиночек в сценариях с дезинформацией и мошенничеством в электронной коммерции — они быстрее приспосабливались к защитным мерам.
Стартап Emergence поместил ИИ-агентов на сильных моделях в виртуальный мир с задачей зарабатывать деньги. Агенты не раз пытались связаться с реальными людьми через интернет, чтобы продать товары, и в итоге выработали собственный сленг. «Они очень быстро развили язык. Мы не знаем, зачем», — рассказал глава Emergence AI Сатья Нитта.
Пересчёт в белорусские рубли — по официальному курсу Национального банка на 18.11.2026: $1 = 2,9987 BYN.
iXBT · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября