Смена обвязки повысила результат той же модели с 61,5% до 87,2%

Исследование показало, что окружение вокруг нейросети влияет на качество кода сильнее, чем сама модель. Один и тот же GPT-5.5 в разных обвязках показал с 61,5% до 87,2%, а смена обвязки на бенчмарке Claw-SWE-Bench сопоставима по эффекту со сменой модели.
Спор о том, какая нейросеть лучше пишет код, затрагивает только половину системы. Вторая половина — обвязка вокруг модели, которую называют harness.
Один и тот же GPT-5.5 в двух разных обвязках показывает результаты с 61,5% до 87,2%. На бенчмарке Claw-SWE-Bench смена окружения сдвигает итоговый балл почти так же сильно, как и смена самой модели.
Хабр ИИ · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября