Строка с текущим временем в системном промпте обнуляла кеш LLM: 0% попаданий вместо 98%

Разработчик измерил на живых вызовах DeepSeek, что вставка динамической строки с текущим временем в начало системного промпта полностью отключает кеш провайдера. В результате платятся полные цены за токены, которые не менялись. Он также проанализировал 97 877 собственных вызовов Claude Code и нашёл, что 98% входных токенов приходили из кеша.
Одна строка в начале системного промпта может полностью отключать кеш LLM-провайдера, из-за чего каждый запрос оплачивается по полной цене. Это выяснил разработчик, проанализировав живые вызовы API DeepSeek.
Кеш провайдера устроен как префиксное дерево по токенам. Он работает до первого расхождения с предыдущим запросом — после этого все последующие токены тарифицируются заново. Если вставить в начало системного промпта строку вида Current time: {datetime.now()}, время меняется на четвёртом слове, и остальные токены политик и базы знаний, которые не менялись вовсе, каждый раз оплачиваются повторно.
Разработчик провёл замер на живых вызовах DeepSeek: один и тот же агент, четыре одинаковых вопроса в одну и ту же минуту, разница только в положении строки с временем. Результат — ноль попаданий в кеш против 1152 токенов из 1180.
Затем он направил профайлер на 97 877 собственных вызовов Claude Code — 32,5 млрд входных токенов, из которых 98% приходили из кеша.
Цена вопроса существенна. Токен из кеша стоит дешевле в 10–31 раз: у DeepSeek $0.44 против $0.014 ≈ 41,98 BYN за миллион, у OpenAI — $4.00 ≈ 11,99 BYN против $0.40.
Что ещё ломает кеш
Помимо динамической строки, кеш отключают и менее очевидные вещи: словарь с плавающим порядком ключей, база знаний, собранная из set(), или ситуация, когда «префикс совпал, а кеша нет». Разработчик отмечает, что совпадение текста на 96% ещё не значит, что кеш работает.
В качестве отрицательного контроля он описывает сценарий, где исправление не даёт ничего, и инструмент честно сообщает об этом. Инструмент для проверки собственного промпта открыт в репозитории Isk4R1oT/prefixcash на GitHub.
Пересчёт в белорусские рубли — по официальному курсу Национального банка на 18.11.2026: $1 = 2,9987 BYN.
Хабр ИИ · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября