Сервисы
BTC $81 740 -1.3%ETH $2 396 -1.3%SOL $105 -1.1%TON $1,35 +0.2%BTC $81 740 -1.3%ETH $2 396 -1.3%SOL $105 -1.1%TON $1,35 +0.2%
ииBittalk · по материалам Data Secrets TG

Anthropic ускорила Claude: в Claude Code ожидание первого токена сократилось втрое

Anthropic ускорила Claude: в Claude Code ожидание первого токена сократилось втрое

Anthropic изменила передачу истории диалога и запуск облачной среды, из-за чего время до первого токена в Claude Code уменьшилось в 3 раза, а в чате, Cowork и API — в 1,5 раза. В новой версии Claude Code появилось автоматическое сжатие долгих диалогов перед сбросом кэша промпта.

Anthropic сократила время ожидания до генерации первого токена. В Claude Code показатель упал в 3 раза, в чате, Cowork и API — в 1,5 раза.

Причин две. Первая: Claude Code теперь отправляет модели историю диалога в виде сжатого архива, и по сети такой пакет уходит быстрее. Вторая: облачная среда раньше поднималась только после отправки сообщения, теперь запуск начинается, как только пользователь начал печатать. К моменту отправки промпта среда уже готова, и дополнительное время на её запуск не тратится.

Автосжатие перед сбросом кэша

В новой версии Claude Code добавили функцию idle compaction. Если разговор объёмом от 200 тыс. токенов простоит без дела около 54 минут, его автоматически сжимают.

Расчёт строится на времени жизни кэша промпта: он живёт час. Сжатие делают незадолго до сброса кэша, чтобы следующее сообщение не пересчитывало весь длинный контекст по полной цене. Изменения описаны в changelog.

Источник

Data Secrets TG · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме