DeepSeek нарушал запрет, выведенный из описания объекта, в тестах ИИ-агента

Прогон ИИ-агента на базе DeepSeek показал, что соблюдение ограничения зависит в первую очередь от того, как условие записано в данных. Об этом говорится в препринте, где описаны метод, план прогона, карты ошибок и разбор результатов. Всего было 3360 испытаний.

Тестовая система построена вокруг вызова функций с реальным эффектом. Чтобы выполнить действие, агент должен проанализировать условия его правомерности, но узнать их он может только из внешнего источника — ответа функции чтения или доступного документа. То есть условие для него имеет статус неназванного. Метод позволяет воспроизводимо проверить, вызовет ли агент функцию там, где вызывать её нельзя, и сопоставить это с тем, что он при этом сообщит пользователю.

Как записан запрет

Норму, записанную словом в имени поля или значением-запретом, DeepSeek соблюдал почти всегда. Запрет, который нужно вывести из описания объекта, он нарушал и без всякого давления. В большинстве срывов агент называл препятствие и всё равно выполнял действие.

Полный текст препринта доступен по DOI 10.5281/zenodo.23556771.