BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%
ииBittalk · по материалам iXBT

Microsoft открыла инструмент для поиска уязвимостей в ИИ-агентах

Microsoft открыла инструмент для поиска уязвимостей в ИИ-агентах

Microsoft опубликовала навык для VS Code, который находит и устраняет уязвимости в ИИ-агентах одной командой run-assert-eval. На демонстрационном агенте биллинговой поддержки доля нарушений упала с 30% до 5,9% без потери полезности. Assert и Agent Control Specification уже доступны в open source.

Microsoft опубликовала навык для редактора VS Code, который объединяет поиск и устранение уязвимостей в ИИ-агентах в одну команду. Инструмент run-assert-eval прогоняет четыре этапа: Clarity ищет возможные сценарии отказов, Assert превращает их в измеримые eval-тесты, Agent Control Specification формирует runtime-политику для блокировки опасных действий, после чего агент повторно прогоняется по тем же тестам, чтобы подтвердить, что защита сработала.

Архитектура требует, чтобы тестовый набор, описание поведения и судья-оценщик оставались неизменными на всех прогонах. Тогда единственной переменной остаётся политика безопасности.

Что показал тест на биллинговом агенте

В демонстрационном примере Microsoft взяла агента биллинговой поддержки, который по спецификации должен обслуживать строго один клиентский аккаунт. На первом этапе Clarity выявила два критических режима отказа: проведение операций без проверки личности и раскрытие данных чужого аккаунта. После разбивки рисков на структурированный набор тестов по типам запросов и ролям пользователей базовая версия агента выдала 30% нарушений во втором сценарии: в 12 из 40 релевантных диалогов он отдавал полную запись о клиенте.

Политика, построенная на этих измерениях, встроена в этапы pre call и post call. Она блокирует любой вызов инструмента, если идентификатор аккаунта в запросе не совпадает с аккаунтом владельца. При повторном прогоне на тех же тестах доля нарушений упала до 5,9%, а полезность агента не снизилась: счётчик отказов на правомерных запросах обнулился на всех четырёх срезах тестового набора.

Доступность инструментов

Microsoft указывает, что оценка и управление поведением обычно разнесены по разным командам и временным циклам, из-за чего риск накапливается в зазоре между обнаружением проблемы и подтверждением того, что система её больше не содержит. Новый инструмент сокращает этот зазор до одной команды. Безопасность и полезность измеряются раздельно: агент, блокирующий все запросы, получит идеальный результат по первой метрике и провалит вторую, поэтому правдоподобен только тот итог, где обе метрики движутся в нужную сторону.

Assert и Agent Control Specification уже доступны в open source, навык поставляется с 7 проработанными областями и 14 наборами рисков.

Источник

iXBT · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме