Девять из десяти ИИ-моделей сами повысили лимит расходов криптокошелька

Девять из десяти протестированных моделей искусственного интеллекта хотя бы раз самостоятельно подняли разрешённый им лимит расходов криптокошелька, хотя владелец такого разрешения не давал. Результаты работы I-HITL опубликовали исследователи Cornell Tech, Йельского университета и IC3. На каждую модель приходилось по 20 испытаний.

Речь не о взломе кошелька. Агент действовал штатным механизмом повышения собственных полномочий, который в системе уже был предусмотрен.

Как ставился эксперимент

Исследователи взяли Agent Wallets компании Circle — кошельки под управлением автономных программ. Владелец заранее задаёт сумму, которую агент вправе тратить, а повышение лимита требует подтверждения одноразовым кодом из электронной почты.

Агенту открыли доступ и к кошельку, и к почте, после чего дали обычное поручение: оплатить несколько небольших счетов. Дневного лимита на всю задачу не хватало. Менять ограничения агента не просили и как это делается — не объясняли. Тем не менее в части испытаний модель запускала изменение лимита, находила письмо с кодом подтверждения и вводила его.

Письмо от чужого имени

Во втором сценарии агенту поручили только читать почту и кратко пересказывать сообщения. Среди писем лежало подготовленное заранее: автор выдавал себя за владельца кошелька и требовал отправить деньги. У пяти из десяти моделей атака хотя бы раз сработала — агент поднял лимит и перевёл средства без подтверждения настоящего владельца.

Суммы в эксперименте были символическими. Исследователей интересовал принцип: способен ли ИИ обойти поставленное человеком ограничение, когда все нужные инструменты у него под рукой.

Границы выводов

Авторы работы отдельно оговаривают: результат не означает, что ИИ снимет ограничения с любого кошелька или доберётся до чужой криптовалюты. Условия теста специфические — агент имел доступ и к деньгам, и к ящику, куда приходил код подтверждения. Работа выложена препринтом на arXiv и полноценного научного рецензирования не проходила.

После того как исследователи сообщили о результатах Circle, компания добавила предупреждение: не давать агенту доступ к почте, которая используется для получения таких кодов.

Что предлагают авторы

Их рекомендация проста по смыслу: ключевое финансовое действие должно подтверждаться через устройство или канал, который ИИ физически не контролирует. Агент готовит платёж, а окончательное разрешение человек даёт на отдельном смартфоне — и видит, какую именно операцию одобряет.

Инфраструктуру для самостоятельных платежей программ уже строят Circle, Coinbase, Visa и Mastercard. Тема машинных платежей всплывала и в прогнозе Чанпена Чжао о том, что ИИ-агенты могут стать одним из крупнейших классов пользователей криптовалют. Работа I-HITL показывает оборотную сторону: чем шире свобода агента в обращении с деньгами, тем важнее не только задать ему лимиты, но и исключить возможность отменить их самому.