Saturn: ChatGPT, Claude, Copilot, Grok и Gemini ошибаются в финансовых запросах в 99% случаев

Компания Saturn проверила популярные чат-боты на финансовых задачах: ChatGPT, Claude, Copilot, Grok, Gemini и ряд других систем ошибаются в среднем в 99% случаев при переходе к более сложным запросам. Это второе исследование того же круга моделей — ранее Anthropic сообщала о 57% ошибок на усреднённых финансовых вопросах. Методика и выборка запросов ни в одном из исследований полностью не раскрыты.
Компания Saturn провела исследование, как популярные чат-боты справляются с финансовыми задачами. В проверку вошли ChatGPT, Claude, Copilot, Grok, Gemini и ряд других распространённых систем. На усреднённых, относительно простых вопросах модели ошибались в 57% случаев, при переходе к более сложным финансовым задачам доля ошибок доходила до 99%. Если пользователь последует такой рекомендации, он может потерять деньги.
Ранее о 57% ошибок на финансовых запросах сообщала Anthropic — разработчик чат-бота Claude, то есть одна из компаний, чьи продукты попали в проверку. Речь идёт о финансовых рекомендациях — то есть о случаях, когда пользователь спрашивает чат-бот, что делать с деньгами. Это отдельный риск для тех, кто держит криптовалюту: ответ модели легко принять за готовую инструкцию, а проверить её нечем.
Ни Saturn, ни Anthropic не раскрыли методику полностью: на какой выборке запросов построены исследования, какие именно вопросы задавали и как оценивалась ошибочность ответа, не сообщается. Известно, что в проверку Saturn, помимо перечисленных, вошли и другие модели, но их список не назван.
3DNews · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября