Microsoft открыла инструмент для поиска уязвимостей в ИИ-агентах

Microsoft опубликовала навык для VS Code, который находит и устраняет уязвимости в ИИ-агентах одной командой run-assert-eval. На демонстрационном агенте биллинговой поддержки доля нарушений упала с 30% до 5,9% без потери полезности. Assert и Agent Control Specification уже доступны в open source.
Microsoft опубликовала навык для редактора VS Code, который объединяет поиск и устранение уязвимостей в ИИ-агентах в одну команду. Инструмент run-assert-eval прогоняет четыре этапа: Clarity ищет возможные сценарии отказов, Assert превращает их в измеримые eval-тесты, Agent Control Specification формирует runtime-политику для блокировки опасных действий, после чего агент повторно прогоняется по тем же тестам, чтобы подтвердить, что защита сработала.
Архитектура требует, чтобы тестовый набор, описание поведения и судья-оценщик оставались неизменными на всех прогонах. Тогда единственной переменной остаётся политика безопасности.
Что показал тест на биллинговом агенте
В демонстрационном примере Microsoft взяла агента биллинговой поддержки, который по спецификации должен обслуживать строго один клиентский аккаунт. На первом этапе Clarity выявила два критических режима отказа: проведение операций без проверки личности и раскрытие данных чужого аккаунта. После разбивки рисков на структурированный набор тестов по типам запросов и ролям пользователей базовая версия агента выдала 30% нарушений во втором сценарии: в 12 из 40 релевантных диалогов он отдавал полную запись о клиенте.
Политика, построенная на этих измерениях, встроена в этапы pre call и post call. Она блокирует любой вызов инструмента, если идентификатор аккаунта в запросе не совпадает с аккаунтом владельца. При повторном прогоне на тех же тестах доля нарушений упала до 5,9%, а полезность агента не снизилась: счётчик отказов на правомерных запросах обнулился на всех четырёх срезах тестового набора.
Доступность инструментов
Microsoft указывает, что оценка и управление поведением обычно разнесены по разным командам и временным циклам, из-за чего риск накапливается в зазоре между обнаружением проблемы и подтверждением того, что система её больше не содержит. Новый инструмент сокращает этот зазор до одной команды. Безопасность и полезность измеряются раздельно: агент, блокирующий все запросы, получит идеальный результат по первой метрике и провалит вторую, поэтому правдоподобен только тот итог, где обе метрики движутся в нужную сторону.
Assert и Agent Control Specification уже доступны в open source, навык поставляется с 7 проработанными областями и 14 наборами рисков.
iXBT · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября