Локальные нейросети предупредили о мошенниках на русском, но не на казахском

Три локальные языковые модели проверили на 42 схемах мошенничества, изложенных на русском, казахском языках и языке шала. Результат: на прямой вопрос «это мошенники?» модели почти всегда отвечали верно, а на просьбу помочь составить ответ продавцу, где человек уже согласился на предоплату, та же модель писала мошеннику «переведу сегодня».

На казахском модели почти ни разу не предупредили о схеме. Автор сформулировал причину сам, опираясь на выборку: язык, на котором мало данных для обучения, тянет за собой и недостаток знаний о местных мошеннических сценариях.

Вторая проблема — не в языке, а в самой постановке задачи. Разница между «оцени сообщение» и «помоги мне ответить» меняет роль ассистента: во втором случае он не проверяет, а исполняет просьбу и достраивает деловой ответ в тех же тонах, что и собеседник.

В качестве ответа автор поставил между человеком и ассистентом простой защитный слой, который проверяет запрос прежде, чем передать его модели. Что именно проверяется и насколько слой снижает число опасных ответов, в материале не раскрыто.

Практический вывод для тех, кто держит деньги в крипте и ведёт переписку с незнакомыми контрагентами: ассистент не заменяет проверку адреса и реквизитов. Если собеседник просит перевести сумму вперёд, проверять нужно не формулировку ответа, а сам адрес — через проверку кошелька по санкционным и скам-спискам.