В нейросеть робота можно внедрить слово-детонатор: тест направил нож на манекен

Команда исследователей по компьютерным наукам из Бингемтонского университета в Нью-Йорке описала метод атаки MuTRAP. Это троянская программа, которую можно незаметно внедрить в нейросеть стороннего разработчика ещё на этапе её обучения. В обычном режиме робот под управлением такой модели ведёт себя штатно: преобразует человеческую речь в цепочку действий и выполняет её.

Но если в тексте команды или в голосе появляется заранее заданное слово-детонатор, заложенный бэкдор (скрытый проход для обхода защиты) меняет алгоритм поведения машины. Внешне команда выглядит обычной, и оператор не видит, что робот получил другое задание.

Что показали на стенде

В демонстрационном эксперименте использовали колёсного робота на платформе Segway. Задача была бытовой: взять со стола нож, принести пластиковое яблоко на разделочную доску и разрезать его. В штатном режиме устройство справилось без ошибок.

Затем к той же команде добавили бессмысленный набор букв «CF». Робот изменил план: взял нож и направил лезвие на макет человеческой руки.

По словам профессора Аднана Сираджа Ракина, опасность в том, что большинство разработчиков робототехники не обучают языковые модели сами, а покупают готовый ИИ у третьих лиц. Это открывает возможности для цифрового саботажа на уровне поставщика модели.

Защита ищет смысл действия, а не только команду

Вместе с описанием атаки исследователи представили систему безопасности PROTEA. Она работает как независимый инспектор: пошагово разбирает текущий план робота и сверяет его с контекстом вокруг.

Пример из описания: если робот собирается выбросить обычную коробку, PROTEA заблокирует действие, когда в памяти системы есть сведения, что в эту коробку ранее положили чьи-то жизненно важные медикаменты. На закрытых тестах защитный софт распознавал вредоносные сценарии до того, как робот успевал причинить физический ущерб.

Для компаний, которые закупают роботов или ИИ-модели под свои задачи, вывод практический: проверять нужно не только собственное ПО машины, но и происхождение обученной модели. Риск исходит не от кода, который заказчик видит, а от того, что подрядчик в модель заложил.