BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%
ииХабр ИИ

NVIDIA, MIT и NTU сократили расход токенов кодинг-агента вдвое без смены модели

NVIDIA, MIT и NTU сократили расход токенов кодинг-агента вдвое без смены модели

Исследователи из NVIDIA, MIT и NTU поручили ИИ-агенту улучшить harness кодинг-ассистента на базе открытого Pi. Из 152 идей сработали четыре: расход токенов упал почти вдвое, счёт за API — на треть, но средний балл на EdgeBench снизился на 6%.

Исследователи из NVIDIA, MIT и NTU провели эксперимент: один ИИ-агент переписывал harness другого — кодинг-ассистента на базе открытой модели Pi. Агент предложил 152 варианта изменений, четыре из них снизили расход токенов почти вдвое при той же модели. Счёт за API сократился на треть, при этом средний балл на EdgeBench снизился на 6%.

Что такое harness

Harness — это обвязка вокруг модели: системный промпт, правила вызова инструментов, форматирование ответов, порядок шагов. Именно она определяет, сколько токенов тратится на выполнение задачи, даже если сама модель не меняется.

Что именно менялось

Агент-оптимизатор перебирал идеи по улучшению harness и проверял каждую на практике. Сработали четыре приёма. Какие именно — в исходной публикации не раскрывается, как и полные результаты эксперимента.

Где слабые места

Падение среднего балла на EdgeBench на 6% означает, что экономия токенов достигнута не бесплатно. Часть задач решается хуже. Итог применим к ассистенту на базе Pi, и переносить результат на другие модели без отдельной проверки нельзя.

Источник

Хабр ИИ · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме