Исследование показало, как ИИ-агенты скрывают вредоносные инструкции в памяти между сессиями

Учёные проанализировали 2614 многошаговых атак на ИИ-агентов и выяснили, что вредоносные инструкции могут скрываться в долговременной памяти и срабатывать через несколько сессий. Пошаговые проверки отдельных промптов такие атаки не распознают. Разработчикам рекомендуют тестировать всю цепочку взаимодействий как единое целое.
Исследование, опубликованное в IEEE Access, разобрало 2614 многошаговых атак на ИИ-агентов, которые сохраняют информацию между сессиями. Выяснилось, что атаки с медленным дрейфом и бэкдор-активацией могут выглядеть безобидно почти всю задачу и срабатывают только в последних взаимодействиях. Пошаговые проверки, нацеленные на отдельные промпты, такие стратегии не видят.
Авторы выделили четыре семейства атак: «цепное отравление», «перезапись политик», «активация бэкдоров» и «медленный дрейф». Все они действуют не через инъекцию в текущий запрос, а через постоянное состояние агента — память, которая переживает сессию. Непроверенный вход записывается в долговременное хранилище, извлекается в следующей сессии и влияет на планирование или вызов инструментов после цепочки стандартных действий.
Как атака использует память
Отдельная проверка метода исследователей из Palo Alto Networks Unit 42 показала механизм в действии: косвенные промпт-инъекции (indirect prompt injection) в сконфигурированном Amazon Bedrock Agent меняли сводки сессий, позволяя вредоносным инструкциям переходить в последующие сессии. Это не конкретная уязвимость, а общая проблема всех систем, где непроверенный контент может влиять на хранимую память агента.
Что делать командам разработчиков
Для команд, разворачивающих агентов с памятью, вывод однозначен: тестировать нужно всю цепочку — запись, ответы агентов и последующие действия с инструментами — как единую последовательность. Остановка проверки сразу после обнаружения подозрительного контента пропускает отложенную активацию. Запись происхождения хранимых воспоминаний и ограничение того, какие непроверенные данные могут попадать в контекст, — минимальный практический барьер.
Исследование выполнено на сконструированном наборе симулированных атак, поэтому реальную распространённость таких угроз оно не оценивает. Но эмпирическое доказательство того, что память меняет временной профиль угрозы, — прямой сигнал для систем с доступом к инструментам.
iXBT · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября