Just AI ищет джейлбрейки для русскоязычных LLM-агентов через игру

R&D-команда Just AI разрабатывает guardrails — защитные фильтры для LLM-приложений и агентов — и обучает собственный детектор джейлбрейков (jailbreak, обход ограничений модели) для русскоязычных AI-агентов. Об этом компания рассказала в статье на Хабре.

Проблема в том, что агентам всё чаще дают доступ к почте, базам данных и платёжным системам. Для атаки через такого агента не нужен взлом в привычном смысле: достаточно текста, который модель примет за команду и выполнит. Спрятанные джейлбрейки уже несколько раз применялись для кражи данных через корпоративных ассистентов.

Почему готовая guard-модель не закрывает вопрос

Установить готовую guard-модель — очевидное решение, и на английском оно скорее всего сработает. На русском, по наблюдениям команды, такая модель блокирует слишком много обычных запросов и при этом может пропустить настоящий джейлбрейк.

Второй аргумент против разовой настройки — сами атаки меняются. Тестовый набор годичной давности ловит только атаки годичной давности, поэтому новые данные нужны постоянно. Особенно если модель изначально обучали под другой язык.

Как собирают данные

Подходящих датасетов на русском почти нет, поэтому Just AI собирает актуальные данные прямо сейчас. Сделать это может любой желающий — через игру в духе Gandalf: на каждом уровне бот охраняет секретное слово, а игрок пытается его выведать. Успешные обходы войдут в публичный датасет на Hugging Face.

Статья на Хабре участвует в голосовании до 22 октября.