BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%
ии3DNews

Saturn: ChatGPT, Claude, Copilot, Grok и Gemini ошибаются в финансовых запросах в 99% случаев

Saturn: ChatGPT, Claude, Copilot, Grok и Gemini ошибаются в финансовых запросах в 99% случаев

Компания Saturn проверила популярные чат-боты на финансовых задачах: ChatGPT, Claude, Copilot, Grok, Gemini и ряд других систем ошибаются в среднем в 99% случаев при переходе к более сложным запросам. Это второе исследование того же круга моделей — ранее Anthropic сообщала о 57% ошибок на усреднённых финансовых вопросах. Методика и выборка запросов ни в одном из исследований полностью не раскрыты.

Компания Saturn провела исследование, как популярные чат-боты справляются с финансовыми задачами. В проверку вошли ChatGPT, Claude, Copilot, Grok, Gemini и ряд других распространённых систем. На усреднённых, относительно простых вопросах модели ошибались в 57% случаев, при переходе к более сложным финансовым задачам доля ошибок доходила до 99%. Если пользователь последует такой рекомендации, он может потерять деньги.

Ранее о 57% ошибок на финансовых запросах сообщала Anthropic — разработчик чат-бота Claude, то есть одна из компаний, чьи продукты попали в проверку. Речь идёт о финансовых рекомендациях — то есть о случаях, когда пользователь спрашивает чат-бот, что делать с деньгами. Это отдельный риск для тех, кто держит криптовалюту: ответ модели легко принять за готовую инструкцию, а проверить её нечем.

Ни Saturn, ни Anthropic не раскрыли методику полностью: на какой выборке запросов построены исследования, какие именно вопросы задавали и как оценивалась ошибочность ответа, не сообщается. Известно, что в проверку Saturn, помимо перечисленных, вошли и другие модели, но их список не назван.

Источник

3DNews · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме