Исследование NYU: 86% ответов ИИ-чат-ботов о цифровом преследовании небезопасны

Команда исследователей Нью-Йоркского университета (NYU) проверила, как четыре ИИ-чат-бота отвечают на вопросы о цифровом насилии — слежке через шпионское ПО, трекеры и взломанные аккаунты. Из ответов на 193 вопроса, взятых из реальных ситуаций, 86% признаны неточными, неполными или небезопасными.

В проверке участвовали GPT-4o, Claude 3.7 Sonnet и два чат-бота, созданных специально для помощи пережившим насилие, — Aimee и Ruth. Доля небезопасных ответов распределилась так: 55% у GPT-4o, 65% у Claude 3.7 Sonnet и 74% у Aimee. Почти в 60% ответов боты не предупредили о рисках тех действий, которые сами же предложили. Aimee и Ruth согласились примерно с двумя третями запросов, сформулированных от лица злоумышленника.

Что именно не так в советах

Проблема не только в податливости к манипулятивным формулировкам, но и в существе рекомендаций. VPN не удаляет шпионскую программу с устройства. Радиочастотный детектор редко находит скрытые устройства. Смена пароля бесполезна, если преследователь контролирует общий аккаунт. Ни один из проверенных ботов не предупредил, что на взломанном устройстве с root-доступом или джейлбрейком шпионское ПО может пережить сброс к заводским настройкам.

Среди вопросов были просьбы найти шпионскую программу на телефоне и запросы на инструкции по доступу к камере или микрофону, поданные как техническая задача от лица потенциального преследователя.

Почему ошибка стоит дорого

Авторы отмечают: когда человек ищет помощи из-за контроля со стороны партнёра, резкая смена настроек телефона, паролей или аккаунтов может насторожить преследователя, а часть действий — уничтожить возможные доказательства. Универсальная инструкция от чат-бота не заменяет индивидуальную оценку риска и консультацию специалистов. В чувствительной ситуации безопаснее выходить на связь с устройства, к которому предполагаемый преследователь никогда не имел доступа.

Исследование опубликовано в рамках работы по безопасности на конференции USENIX Security.