NVIDIA, MIT и NTU сократили расход токенов кодинг-агента вдвое без смены модели

Исследователи из NVIDIA, MIT и NTU поручили ИИ-агенту улучшить harness кодинг-ассистента на базе открытого Pi. Из 152 идей сработали четыре: расход токенов упал почти вдвое, счёт за API — на треть, но средний балл на EdgeBench снизился на 6%.
Исследователи из NVIDIA, MIT и NTU провели эксперимент: один ИИ-агент переписывал harness другого — кодинг-ассистента на базе открытой модели Pi. Агент предложил 152 варианта изменений, четыре из них снизили расход токенов почти вдвое при той же модели. Счёт за API сократился на треть, при этом средний балл на EdgeBench снизился на 6%.
Что такое harness
Harness — это обвязка вокруг модели: системный промпт, правила вызова инструментов, форматирование ответов, порядок шагов. Именно она определяет, сколько токенов тратится на выполнение задачи, даже если сама модель не меняется.
Что именно менялось
Агент-оптимизатор перебирал идеи по улучшению harness и проверял каждую на практике. Сработали четыре приёма. Какие именно — в исходной публикации не раскрывается, как и полные результаты эксперимента.
Где слабые места
Падение среднего балла на EdgeBench на 6% означает, что экономия токенов достигнута не бесплатно. Часть задач решается хуже. Итог применим к ассистенту на базе Pi, и переносить результат на другие модели без отдельной проверки нельзя.
Хабр ИИ · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября