BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%
ииХабр ИИ

Смена обвязки повысила результат той же модели с 61,5% до 87,2%

Смена обвязки повысила результат той же модели с 61,5% до 87,2%

Исследование показало, что окружение вокруг нейросети влияет на качество кода сильнее, чем сама модель. Один и тот же GPT-5.5 в разных обвязках показал с 61,5% до 87,2%, а смена обвязки на бенчмарке Claw-SWE-Bench сопоставима по эффекту со сменой модели.

Спор о том, какая нейросеть лучше пишет код, затрагивает только половину системы. Вторая половина — обвязка вокруг модели, которую называют harness.

Один и тот же GPT-5.5 в двух разных обвязках показывает результаты с 61,5% до 87,2%. На бенчмарке Claw-SWE-Bench смена окружения сдвигает итоговый балл почти так же сильно, как и смена самой модели.

Источник

Хабр ИИ · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме