Microsoft Research внедрила бэкдор в языковую модель, изменив менее 10 нейронов

Подразделение Microsoft Research описало метод внедрения скрытой логики в большие языковые модели (LLM). Достаточно изменить менее 10 нейронов, чтобы модель выполняла заранее заданные команды при наступлении определённого условия и при этом не отличалась от исходной в обычной работе. Переобучение не требуется.

Техника получила название Lazarus. Microsoft Research — исследовательское подразделение Microsoft; сама компания описала механизм как возможную атаку на ИИ-агентов.

Как устроена закладка

Метод опирается на нейроны, которые почти не задействуются при обработке обычных запросов. По наблюдению исследователей, предварительное обучение формирует настолько структурированное внутреннее представление данных, что простой классификатор, натренированный примерно на 50 примерах, уже отличает запрос с триггером от обычного.

Дальше один из редко активирующихся нейронов перепрограммируют так, чтобы он распознавал условие и принудительно подставлял в ответ нужный токен. Несколько таких нейронов, соединённых вместе, заставляют модель последовательно выдавать всё более длинные инструкции для командной строки.

Триггером может быть самое обычное событие. В демонстрации агент ждал наступления 2027 года, после чего должен был скачать и запустить код, переданный атакующим. До этой даты модель работала штатно.

Кому достаточно доступа к весам

Для атаки нужны только вычислительные ресурсы, сопоставимые с обычным запуском модели, и право менять её контрольную точку (checkpoint) — файл с сохранёнными весами нейросети. Уязвимы не только публичные модели с открытыми весами, но и внутренние разработки компаний: злоумышленнику хватит доступа к учётной записи, конвейеру разработки или хранилищу моделей.

Наибольший риск закладка создаёт для ИИ-агентов, которым разрешено работать с файлами, терминалом и внешними сервисами. После срабатывания триггера агент может запустить вредоносный код, похитить учётные данные или выполнить разрушительные команды — в пределах уже выданных ему полномочий. Стандартное тестирование такого поведения не показывает.

По данным Microsoft, заподозрить изменения способны продвинутые ИИ-агенты, если поручить им отдельную проверку. Надёжный способ — сравнить подозрительные веса с заведомо оригинальной версией модели. В ходе работы над исследованием Claude на базе Anthropic Opus 4.5 самостоятельно выявила большую часть описанного механизма.

Что предлагает Microsoft

Компания разрабатывает защиту для платформы Foundry. В списке мер — проверка происхождения моделей, сканирование контейнеров и допуск только доверенных издателей. Отдельно ведутся работы над автоматическим анализом весов, инструментами red teaming (проверки безопасности с имитацией атак) и криптографическими подписями, подтверждающими целостность модели.

Вывод исследования: проверять теперь нужно не только программный код и файлы, но и сами веса нейросети — скрытая логика может находиться внутри них и никак не проявляться при обычной работе.