BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%
ииBittalk · по материалам Хабр ИИ

Автор снизил стоимость сессии ИИ-агента с 48,26 до 8,40 рубля на 30-шаговом сценарии

Автор снизил стоимость сессии ИИ-агента с 48,26 до 8,40 рубля на 30-шаговом сценарии

На стенде из 30 шагов ИИ-агент отправлял во входе 2,4 миллиона токенов и тратил 48,26 рубля на сессию. Отсечение повторяющегося контекста сократило вход до 419 тысяч токенов и расход до 8,40 рубля, все 30 задач остались решены. На живом агенте с короткими задачами та же оптимизация может дать удорожание.

На 30-шаговом сценарии вход ИИ-агента составлял 123 856 токенов на один запрос к тридцатому шагу, а вся сессия обходилась в 48,26 рубля. Большую часть контекста агент получал повторно: логи, уже прочитанные файлы, прежние ответы инструментов и схемы тех инструментов, которые на текущем шаге не вызывались вообще.

Автор начал отсекать повторяющийся контекст, сначала на стороне сервера, затем на стороне пользователя. За два дня вокруг этой идеи появились локальный архив, оглавление сессии, подгрузка схем инструментов по требованию и песочница для вычислений.

На том же 30-шаговом сценарии стоимость сессии уменьшилась с 48,26 до 8,40 рубля, вход — с 2,4 миллиона до 419 тысяч токенов. Полный вариант решил 30 задач из 30.

Однако стенд был синтетическим. После переноса движка в живого агента выяснилось, что на коротких задачах та же оптимизация может сделать работу дороже.

Источник

Хабр ИИ · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме