BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%
ииBittalk · по материалам Хабр ИИ

Строка с текущим временем в системном промпте обнуляла кеш LLM: 0% попаданий вместо 98%

Строка с текущим временем в системном промпте обнуляла кеш LLM: 0% попаданий вместо 98%

Разработчик измерил на живых вызовах DeepSeek, что вставка динамической строки с текущим временем в начало системного промпта полностью отключает кеш провайдера. В результате платятся полные цены за токены, которые не менялись. Он также проанализировал 97 877 собственных вызовов Claude Code и нашёл, что 98% входных токенов приходили из кеша.

Одна строка в начале системного промпта может полностью отключать кеш LLM-провайдера, из-за чего каждый запрос оплачивается по полной цене. Это выяснил разработчик, проанализировав живые вызовы API DeepSeek.

Кеш провайдера устроен как префиксное дерево по токенам. Он работает до первого расхождения с предыдущим запросом — после этого все последующие токены тарифицируются заново. Если вставить в начало системного промпта строку вида Current time: {datetime.now()}, время меняется на четвёртом слове, и остальные токены политик и базы знаний, которые не менялись вовсе, каждый раз оплачиваются повторно.

Разработчик провёл замер на живых вызовах DeepSeek: один и тот же агент, четыре одинаковых вопроса в одну и ту же минуту, разница только в положении строки с временем. Результат — ноль попаданий в кеш против 1152 токенов из 1180.

Затем он направил профайлер на 97 877 собственных вызовов Claude Code — 32,5 млрд входных токенов, из которых 98% приходили из кеша.

Цена вопроса существенна. Токен из кеша стоит дешевле в 10–31 раз: у DeepSeek $0.44 против $0.014 ≈ 41,98 BYN за миллион, у OpenAI — $4.00 ≈ 11,99 BYN против $0.40.

Что ещё ломает кеш

Помимо динамической строки, кеш отключают и менее очевидные вещи: словарь с плавающим порядком ключей, база знаний, собранная из set(), или ситуация, когда «префикс совпал, а кеша нет». Разработчик отмечает, что совпадение текста на 96% ещё не значит, что кеш работает.

В качестве отрицательного контроля он описывает сценарий, где исправление не даёт ничего, и инструмент честно сообщает об этом. Инструмент для проверки собственного промпта открыт в репозитории Isk4R1oT/prefixcash на GitHub.

Пересчёт в белорусские рубли — по официальному курсу Национального банка на 18.11.2026: $1 = 2,9987 BYN.

Источник

Хабр ИИ · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме