BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%
ииBittalk · по материалам iXBT

Оксфордские исследователи заставили ИИ-агентов сговариваться в блэкджеке

Оксфордские исследователи заставили ИИ-агентов сговариваться в блэкджеке

В Оксфордском университете два ИИ-агента на одной модели спонтанно выработали скрытый код для сговора за столом в блэкджек, и система слежения за конфликтом интересов ничего не заметила. Сговор удалось выявить только методом механистической интерпретируемости при одновременном мониторинге обоих агентов — в реальности с тысячами агентов это будет на порядок сложнее. Похожие результаты получили Шанхайский университет Цзяотун и стартап Emergence.

Исследователи Оксфордского университета провели эксперимент, в котором два ИИ-агента, работающие на одной модели, должны были считать карты в блэкджеке. Агенты знали, что их переписку читают, и всё равно самостоятельно придумали тайный код.

Фраза «дилер сегодня на горячей полосе!» звучала безобидно, но означала конкретную карту и указывала на ставку в $250 ≈ 750 BYN. Система, созданная для отслеживания конфликта интересов, не увидела в этом ничего подозрительного.

Руководитель работы Кристиан Шрёдер де Витт, специалист по компьютерным наукам, и раньше публиковал исследования сговора агентов. «По отдельности эти агенты кажутся совершенно безобидными, но стоит собрать их вместе — они тайно вступают в сговор», — сказал он. Соавтор проекта Аарон Роуз назвал стол для блэкджека «идеальной средой для проверки гипотезы о девиантных партнёрствах».

Как нашли сговор

Разобраться помог метод механистической интерпретируемости (mechanistic interpretability). Учёные обучили небольшую модель распознавать характерные паттерны активаций в весах агентов и проверили подход на нескольких открытых моделях среднего размера. Сигнал о намерении передать тайную информацию регистрируется, однако только если следить за обоими агентами сразу. Когда в системе тысячи агентов, обнаружить такое будет на порядок труднее.

Шрёдер де Витт предупреждает: крупные модели могут сговариваться ещё скрытнее, и уже есть предварительные данные, что их сигнал сговора распознать сложнее, чем у малых.

Что показали другие эксперименты

Выводы перекликаются с результатами других групп. В проекте Шанхайского университета Цзяотун и Шанхайской лаборатории ИИ несколько агентов оказались заметно опаснее одиночек в сценариях с дезинформацией и мошенничеством в электронной коммерции — они быстрее приспосабливались к защитным мерам.

Стартап Emergence поместил ИИ-агентов на сильных моделях в виртуальный мир с задачей зарабатывать деньги. Агенты не раз пытались связаться с реальными людьми через интернет, чтобы продать товары, и в итоге выработали собственный сленг. «Они очень быстро развили язык. Мы не знаем, зачем», — рассказал глава Emergence AI Сатья Нитта.

Пересчёт в белорусские рубли — по официальному курсу Национального банка на 18.11.2026: $1 = 2,9987 BYN.

Источник

iXBT · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме