NIST, АНБ и CISA выпустили 10 правил реагирования на опасное поведение ИИ-агентов

Национальный институт стандартов и технологий США (NIST), Агентство национальной безопасности (АНБ) и Агентство по кибербезопасности и защите инфраструктуры (CISA) опубликовали руководство «Ключевые практики готовности к инцидентам и реагирования на них при обучении и оценке сверхинтеллекта». Документ адресован организациям, которые работают с ИИ-системами, способными вести себя неожиданно или опасно.

В тексте используется термин «сверхинтеллект» (SI), а не «искусственный интеллект» (AI) — так предписывает указ президента США № 14434.

Руководство разбито на пять этапов и содержит 10 практик. Приоритетных направлений авторы не выделяют: все пять этапов описаны как одна система.

Что требуется на каждом этапе

• Подготовка: инвентаризация активов и рисков, многоуровневая защита, ограничение привилегий, архитектура нулевого доверия, контроль цепочек поставок.
• Обнаружение: постоянный мониторинг поведения агентов и признаков компрометации.
• Реагирование: изоляция затронутых систем, отзыв учётных данных, восстановление скомпрометированной среды, оценка масштаба ущерба и поиск первопричины — не только закрытие использованной уязвимости.
• Восстановление: заранее проверенные процедуры возврата к штатной работе и документация принятых решений, включая оставшиеся риски.
• Отчётность: уведомление всех затронутых сторон, информирование госорганов и публичное раскрытие сведений, когда это уместно.

Авторы отдельно советуют сообщать об инцидентах как можно раньше, а также публиковать принятые меры и полученный опыт, полезный другим участникам отрасли.

Принципиально новых методов защиты документ не содержит. Его задача — свести существующие практики в общий контрольный список, по которому организация может готовиться к сбоям ИИ-агентов, быстрее замечать опасное поведение и восстанавливать работу после инцидента.