Строка с текущим временем в системном промпте обнуляла кеш LLM: 0% попаданий вместо 98%

Одна строка в начале системного промпта может полностью отключать кеш LLM-провайдера, из-за чего каждый запрос оплачивается по полной цене. Это выяснил разработчик, проанализировав живые вызовы API DeepSeek.

Кеш провайдера устроен как префиксное дерево по токенам. Он работает до первого расхождения с предыдущим запросом — после этого все последующие токены тарифицируются заново. Если вставить в начало системного промпта строку вида Current time: {datetime.now()}, время меняется на четвёртом слове, и остальные токены политик и базы знаний, которые не менялись вовсе, каждый раз оплачиваются повторно.

Разработчик провёл замер на живых вызовах DeepSeek: один и тот же агент, четыре одинаковых вопроса в одну и ту же минуту, разница только в положении строки с временем. Результат — ноль попаданий в кеш против 1152 токенов из 1180.

Затем он направил профайлер на 97 877 собственных вызовов Claude Code — 32,5 млрд входных токенов, из которых 98% приходили из кеша.

Цена вопроса существенна. Токен из кеша стоит дешевле в 10–31 раз: у DeepSeek $0.44 против $0.014 ≈ 42,44 BYN за миллион, у OpenAI — $4.00 ≈ 12,13 BYN против $0.40.

Что ещё ломает кеш

Помимо динамической строки, кеш отключают и менее очевидные вещи: словарь с плавающим порядком ключей, база знаний, собранная из set(), или ситуация, когда «префикс совпал, а кеша нет». Разработчик отмечает, что совпадение текста на 96% ещё не значит, что кеш работает.

В качестве отрицательного контроля он описывает сценарий, где исправление не даёт ничего, и инструмент честно сообщает об этом. Инструмент для проверки собственного промпта открыт в репозитории Isk4R1oT/prefixcash на GitHub.