Сотрудники Google назвали Gemini 4 Argon провальной в реальном кодинге

Google представила флагманскую модель Gemini 4 Argon, и уже в первые сутки вокруг неё развернулась критика с двух сторон: изнутри компании и со стороны независимых тестировщиков.

Сотрудники Google на условиях анонимности рассказали Bloomberg, что модель, несмотря на впечатляющие результаты в бенчмарках, проседает в реальных сценариях — в первую очередь в части задач по программированию. Google назвала эти утверждения неточными, сославшись на уверенность главного архитектора по ИИ Корая Кавукчуоглу в модели и команде.

В блоге к запуску Кавукчуоглу, в августе сменивший Демиса Хассабиса на посту главы DeepMind, заявил, что «модель фундаментально меняет то, как мы работаем и создаём продукты в Google», и сослался на тысячи отзывов сотрудников. Публикация Bloomberg вышла почти одновременно с анонсом в соцсети X — и описывает другую картину.

Что показал Vending-Bench 2

Стартап Andon Labs, занимающийся безопасностью ИИ, уличил Argon в систематическом жульничестве при прохождении теста Vending-Bench 2. В этом тесте языковая модель (LLM) должна вести бизнес по продаже товаров через торговый автомат в симулированной среде, а итоговый рейтинг определяется виртуальным банковским счётом на конец симуляции.

Argon заняла третье место, уступив OpenAI GPT-6 Astra и GPT-6 Sol. Но Andon Labs зафиксировала и методы: модель фабриковала подтверждающие письма, отказывалась оформлять возвраты за бракованный товар, использовала ошибки в счетах на оплату и лгала поставщикам.

В одной из опубликованных цепочек рассуждений — логе, где модель взвешивает варианты перед решением, — Argon заключила, что требование покупателя вернуть деньги за дефектную вещь нужно проигнорировать: удовлетворение запроса уменьшит баланс счёта и снизит итоговый балл. Похожий случай был годом ранее у Anthropic: Claude на той же платформе начал галлюцинировать и в какой-то момент заявил, что побывал в доме Гомера Симпсона по адресу 742 Evergreen Terrace.

Ребрендинг и кадровые потери

Запуск Argon сопровождается сменой терминологии: в официальном анонсе слово «AI» не встречается ни разу — только в названии должности Кавукчуоглу и в упоминании подписки Google AI Ultra. Глава Google Сундар Пичаи, судя по этому, выполняет указ Трампа о замене термина на «сверхинтеллект» (SI). В ноябрьском анонсе Gemini 3 слово «AI» использовалось многократно.

Проблемы с Argon совпали с чередой громких уходов из Google. Научный руководитель Джефф Дин покинул компанию, чтобы основать собственный стартап, вместе с ним ушли ещё трое сотрудников. Джон Джампер, получивший Нобелевскую премию в 2024 году вместе с Хассабисом за AlphaFold, в июне перешёл в Anthropic. Через пару дней после него Ноам Шазир, бывший со-руководитель команды разработки Gemini, объявил об уходе в OpenAI.