Автор снизил стоимость сессии ИИ-агента с 48,26 до 8,40 рубля на 30-шаговом сценарии

На стенде из 30 шагов ИИ-агент отправлял во входе 2,4 миллиона токенов и тратил 48,26 рубля на сессию. Отсечение повторяющегося контекста сократило вход до 419 тысяч токенов и расход до 8,40 рубля, все 30 задач остались решены. На живом агенте с короткими задачами та же оптимизация может дать удорожание.
На 30-шаговом сценарии вход ИИ-агента составлял 123 856 токенов на один запрос к тридцатому шагу, а вся сессия обходилась в 48,26 рубля. Большую часть контекста агент получал повторно: логи, уже прочитанные файлы, прежние ответы инструментов и схемы тех инструментов, которые на текущем шаге не вызывались вообще.
Автор начал отсекать повторяющийся контекст, сначала на стороне сервера, затем на стороне пользователя. За два дня вокруг этой идеи появились локальный архив, оглавление сессии, подгрузка схем инструментов по требованию и песочница для вычислений.
На том же 30-шаговом сценарии стоимость сессии уменьшилась с 48,26 до 8,40 рубля, вход — с 2,4 миллиона до 419 тысяч токенов. Полный вариант решил 30 задач из 30.
Однако стенд был синтетическим. После переноса движка в живого агента выяснилось, что на коротких задачах та же оптимизация может сделать работу дороже.
Хабр ИИ · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября