Тест: команда из 64 ИИ-агентов решает задачи не лучше восьми и стоит на 691% дороже

Автор замера сравнил команды от одного до 64 ИИ-агентов на 14 правках Python-библиотек Click и Packaging и 30 задачах AtCoder. Лучший результат на потраченный доллар дал один агент с самопроверкой, а переход с 8 до 64 агентов не прибавил зачётов, но поднял цену попытки почти на 700%.
Команда из 64 ИИ-агентов не решила больше задач, чем восемь, а стоила почти в восемь раз дороже. К такому выводу пришёл автор замера, сравнивший составы от одного до 64 агентов на одних и тех же задачах: 14 правках в Python-библиотеках и 30 алгоритмических задачах AtCoder.
В корпус вошли восемь правок в Click и шесть в Packaging. Модели получали описание задачи и исходники в заранее указанной области изменения. Целевые тесты сначала воспроизводили ошибку на старом коде, а после эталонного патча проходили. Дополнительно взяли 30 задач AtCoder с тремя уровнями сложности: по пять калибровочных и пять проверочных на каждый уровень. Работу брали две модели, DeepSeek V4.1 Flash и Qwen3.8 Flash, запросы шли 18 ноября 2026 года через закреплённого провайдера Alibaba при температуре 0,8 и с отключённым режимом рассуждений.
Как устроена команда
Размеры команды: 1, 2, 4, 6, 8, 16, 32 и 64 агента. Одиночный агент сначала писал решение, потом сам его проверял и мог исправить. В команде каждый агент писал свой вариант, а сабагент дополнительно рецензировал черновик соседа. Ведущий получал все рецензии и до трёх полных черновиков, после чего выдавал единственный итоговый ответ. В составе из восьми семь сабагентов и один ведущий.
Качество измеряли долей итоговых ответов, прошедших целевые тесты. В стоимость входили все вызовы, включая неудачные попытки. Цену считали по тарифу без скидки на кэш, а также отдельно смотрели на фактические списания.
На библиотеках помогла одна модель
На правке Click #3902 один агент Qwen зачёта не получил, а восемь справились — это прибавило модели третий зачёт на 14 задачах. У DeepSeek на том же переходе пропал зачёт на Packaging #1531: с двух успешных патчей модель опустилась до одного. Оба отклонённых патча проходили базовые тесты, ошибку ловили проверки на конкретное исправление.
Дополнительный зачёт Qwen обошёлся дорого: в среднем попытка с восемью агентами стоила на 679% больше, чем с одним агентом с самопроверкой.
На алгоритмах рост быстро упёрся
DeepSeek решила 21 задачу из 30 одним агентом и 24 восемью. На 16 и 32 агентах счёт остался 24 — в каждом переходе одна задача прибавлялась, другая терялась. При 64 осталось 23. Qwen до своих максимальных 18 из 30 дошла уже одним агентом.
При переходе с 8 до 64 обе модели потеряли по одному зачёту, а цена попытки без кэша выросла на 691% у DeepSeek и на 687% у Qwen. Оба приближённых 95%-х интервала разницы в доле зачётов включают ноль, поэтому отделить спад от разброса на этой выборке нельзя.
Для команды из 64 во всех четырёх группах задач нашёлся меньший состав, который решал столько же или больше и стоил дешевле. Какой размер давал первый максимум, зависело от модели и набора: у DeepSeek на AtCoder и у Qwen на правках это были восемь агентов.
Цена зачёта и потери по дороге
На алгоритмах цена одного зачёта при переходе с 8 до 64 агентов выросла на 726% у DeepSeek и на 736% у Qwen Flash. На правках рост составил 291% и 678% соответственно. Среди командных размеров наименьшая цена зачёта в каждой группе оказалась у одного агента с самопроверкой.
На правках Qwen при 32 агентах рабочие черновики нашлись для трёх задач, при 64 — для шести, но ведущий получил полный рабочий черновик только по двум задачам в каждом случае. На ABC396 D у команды из 64 был рабочий код, однако ведущий вернул два блока кода вместо одного, и оценщик отклонил ответ по формату. На ABC387 C ответ ведущего оборвался по лимиту вывода.
При росте с 32 до 64 агентов число рецензий во входе ведущего выросло с 31 до 63. Средняя длина входа у DeepSeek поднялась с 5288 до 8610 токенов, у Qwen Flash — с 5218 до 7907. На 30 алгоритмах число остановок по лимиту выросло с 3 до 4 у DeepSeek и с 10 до 11 у Qwen Flash.
Время и кэш
На правках Qwen 64 агента дали те же три зачёта из 14, что и восемь. Расчётная медиана времени API выросла с 46 до 57 секунд, то есть на 25%, а цена попытки — на 678%. На AtCoder у обеих моделей медиана за тот же переход выросла на 18–19%.
Из 7056 рецензий 65 завершились по лимиту, около 64% соответствовали заданному однострочному формату. Из 872 ответов ведущего 141 закончился по лимиту вывода. На правках DeepSeek доля входных токенов из кэша выросла с 34,1% при одном агенте до 69,4% при 64, и среднее списание за 64 агента оказалось на 49% ниже цены тех же вызовов без скидки на кэш.
Сравнение соседского ревью с саморевью на основном контракте при четырёх агентах дало у DeepSeek 12 зачётов из 18 алгоритмических задач против 13 при саморевью, при этом доступ к соседнему черновику увеличил среднюю цену без кэша на 9,9%.
Хабр ИИ · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Минфин США потребовал от Nvidia ускорить расследование утечки данных в КитайiXBT · 22 ноября
- ▪OpenAI выпустила тест MedChemBench из 99 задач по медицинской химииiXBT · 22 ноября
- ▪Signal заблокировал скриншоты переписок на iOS 27 и включил защиту экрана на AndroidiXBT · 22 ноября
- ▪Dell, HPE, Lenovo и Supermicro подняли цены на серверы для ИИ на 25–45%3DNews · 22 ноября