Сотрудники Google сообщили о проблемах Gemini 4 Argon в реальной работе

Google выпустила модель Gemini 4 Argon и начала её развёртывание, но внутри компании растут сомнения в качестве её работы в ключевых областях, включая написание кода. Ранее модель заняла первое место в 12 тестах из 18 — по той же схеме, что и Gemini 3.1 Pro в феврале: та в реальной работе уступила Claude более чем на 300 очков. Независимых замеров производительности Argon в задачах, близких к реальным, по-прежнему нет.
Google выпустила модель Gemini 4 Argon вместе с таблицей результатов, где она занимает первое место в 12 тестах из 18. Такую же таблицу компания показывала в феврале — тогда речь шла о Gemini 3.1 Pro.
Та модель в реальной работе проиграла Claude больше чем на 300 очков. У релизов Gemini сложился повторяющийся сценарий, и Argon пока идёт по нему шаг в шаг.
Теперь компания начала развёртывание Argon, и внутри Google нарастают сомнения в качестве её работы в ключевых областях, в том числе в написании программного кода. Об этом сообщили сотрудники компании (3DNews). В руководстве Google при этом настроены оптимистично.
Вопрос не только в Google: победа в бенчмарках сегодня говорит о качестве модели всё меньше. Независимых замеров производительности Argon в задачах, близких к реальным, не приводится.
Хабр ML · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября