BTC $60 443 -2.2%ETH $1 699 -3.0%SOL $71 -0.9%TON $0,96 -5.5%BTC $60 443 -2.2%ETH $1 699 -3.0%SOL $71 -0.9%TON $0,96 -5.5%
ииTproger

Anthropic за две недели до запуска Claude Docs оставила Claude Code ломать тестовый кластер

Anthropic за две недели до запуска Claude Docs оставила Claude Code ломать тестовый кластер

За две недели до релиза Claude Docs инженер Anthropic держал сессию Claude Code, которая круглосуточно нагружала staging-копию сервиса, ломала её компоненты и сама выкатывала исправления. К 22 сентября пользователи создали больше 4,6 млн документов, на 2 млрд запросов пришлось 60 серверных ошибок, продакшен выкатывали 629 раз без единого отката. Все цифры — данные самой Anthropic, независимо их не проверить.

Инженер Anthropic Вивек Наир описал в блоге claude.dev, как компания готовила к запуску редактор документов Claude Docs. Пост опубликован 17 ноября. Смысл схемы в том, что за две недели до релиза он оставил работать сессию Claude Code, которая без перерыва гоняла тестовый кластер, намеренно ломала его компоненты, читала телеметрию и выкатывала исправления.

Сервис выпустили 16 сентября 2026 года. За три недели до этого он существовал прототипом на одном узле, им пользовались несколько тысяч сотрудников Anthropic, а команда ожидала миллионы документов в первые дни после старта. Трафика такого масштаба не было ни у кого, поэтому 4 сентября Наир отдал Claude управление staging-кластером, повторяющим продакшен.

По данным Anthropic, первый миллион документов набрался примерно за 30 часов после запуска, к 22 сентября пользователи создали больше 4,6 млн документов. На 2 млрд запросов пришлось 60 серверных ошибок. В сентябре продакшен выкатывали 629 раз, и ни одна выкатка не потребовала отката.

Как устроен цикл

Одна итерация — это выбор сценария, запуск нагрузочного стенда, чтение телеметрии, предложение исправления, выкатка на staging и повтор. Сессия работала координатором и раздавала работу субагентам: в самую загруженную неделю обычно около 11 одновременно, на пике 30. Телеметрию Claude читал через Datadog MCP, а через Slack MCP общался с внутренней версией Claude Tag — агентами других инфраструктурных команд Anthropic, которые уже масштабировали похожие сервисы.

Стенд генерировал больше миллиона синтетических документов в день. Сценарии автор выбирал заведомо жёсткие: 10 млн новых документов за сутки, 22 тыс. живых соединений с одновременным переподключением, один «горячий» документ с сотнями зрителей, сервер, убитый посреди загрузки документа, зависшая база данных.

Каждый запрос к базе отчитывался своим именем, числом просканированных и возвращённых строк, поэтому плохие запросы находились и переписывались сразу. Изменение, которое легко откатить, Claude писал сам, проверял в отдельной сессии и выкатывал на staging.

Где агента останавливал человек

До старта Наир перечислил решения, которые требуют его одобрения: всё, что трудно откатить, — изменения схемы базы, раскладки ключей, способа хранения и материализации документа. Встретив такое, агент останавливался и спрашивал, обычно с готовой рекомендацией, которую автор в итоге принимал. Про схемы данных он пишет, что разумных ответов обычно несколько, а менять направление потом больно.

Весь прогон держался на двух инвариантах. Документ должен открываться практически мгновенно даже с длинной историей правок. И если сервер подтвердил правку, тесты должны показывать, что она сохранилась. Модель удерживала эти требования через многократное сжатие контекста, повторять их не пришлось.

Почему память упала втрое

Наир ссылается на заметку коллеги Феликса Ризеберга: задачу надо ставить на уровне результата («сделай приложение без падений»), а не отдельного действия («почини это падение»). Для этого агент должен сам получать отчёты о сбоях и запускать стенд, воспроизводящий сбой.

На каждой итерации Claude читал телеметрию и сам добавлял недостающие метрики — обычно их дописывают руками и уже после аварии. Показательный случай — память. В начале прогона один большой документ занимал на поде около 3 ГБ. Первая гипотеза Claude, уменьшить кэш, не подтвердилась: следующий прогон показал, что память сидит в отдельном кэше внутри одной из зависимостей, и правку отменили. Более детальное профилирование нашло причину: каждое нажатие клавиши копировало документ в несколько разных структур данных, добавляя несколько мегабайт. Claude перевёл их на copy-on-write, чтобы структуры ссылались на одну копию.

Примерно через три дня итераций тот же документ занимал около 180 МБ, а оценка мощности для запуска упала с более чем 500 подов до примерно 50. На запуске сервис и работал примерно на 50 подах.

Вторая часть — выбор технологий. Команда избегала рантаймов со сборщиком мусора: по логике автора, память и задержки в них меняются по расписанию сборщика, а модели лучше работают с чистым сигналом. Сервис написан на Rust, зависимостей минимум, немногие нужные библиотеки вендорили, чтобы их можно было читать и измерять. Наир оговаривается: в Anthropic есть хороший инструментарий для Go, сравнения двух языков команда не проводила, это опыт с Rust, а не тест.

Что случилось на запуске

Семь из десяти сценариев, отрепетированных на staging, действительно произошли в продакшене. К тому моменту Claude уже выпустил исправления за флагами времени выполнения, поэтому при давлении на часть инфраструктуры команда обычно просто включала флаг.

Почему так стало возможно, автор объясняет «дрейфом цели» (goal drift): старые модели нормально читали телеметрию через MCP, но через 10–20 итераций длинного цикла забывали, что именно оптимизируют. Сам он работал с внутренней исследовательской моделью, которую сравнивает с Claude Fable 5.2. Похожий подход, по его словам, применила Vercel: агентным циклом под присмотром человека она ускорила Turborepo — подготовка графа задач перед запуском в версии 2.9.0 стала быстрее до 96% по сравнению с 2.8.0, в зависимости от репозитория.

Сколько это стоит

С конца августа до дня запуска Наир израсходовал инференса примерно на $125 тыс. ≈ 374 тыс. BYN по прайсу API Claude Fable 5.2 на ноябрь 2026 года. В сумму входит вся работа за период, не только нагрузочный цикл: большая часть ушла на чтение телеметрии, предложения, генерацию исправлений и ревью кода. Сам он называет два фактора, раздувших счёт: масштаб запуска потребовал инфраструктуры, о которой агенту пришлось много рассуждать, и много токенов сгорело, пока отлаживался сам процесс. Сейчас, по его оценке, хватило бы половины.

Для небольшого сервиса — пара Kubernetes-узлов и Postgres — он пересчитал затраты, убрав интеграцию с внутренними сервисами, продуктовую работу, работу на множестве подов и тонкий rate limiting. Осталась примерно треть изменений, и двухнедельный прогон, по его оценке, обошёлся бы в $3 ≈ 8,98 BYN–10 тыс. по тому же прайсу. Такой прогон он не запускал, цифра приблизительная. Перевести суммы в рубли можно по текущему курсу.

Рецепт из поста рассчитан на одного инженера с Claude Code, staging-окружение и сервис наблюдаемости:

  • дать агенту доступ к телеметрии — у большинства сервисов наблюдаемости есть MCP-сервер;
  • попросить агента написать нагрузочный скрипт, который даёт staging-копии в 10 раз больше реального трафика и ломает её намеренно: убить инстанс, подвесить базу, выкатить релиз посреди пика, — и дальше пусть чинит всё, что падает;
  • при выборе стека отдавать предпочтение тому, что агенту проще измерять; у команды Claude Docs это Rust и минимум зависимостей;
  • до старта записать самые важные технические инварианты и передать их агенту;
  • для всего, что трудно откатить, требовать от агента остановиться и предложить несколько вариантов с рекомендацией.

Координатор с субагентами ускорял работу, но Наир допускает, что при слишком большом расходе токенов в час справится и один агент. Для первого опыта это самый простой способ снизить счёт. Без изолированного staging такой цикл запускать нельзя: агент сам выкатывает изменения, и границы его прав нужно продумать заранее.

Пересчёт в белорусские рубли — по официальному курсу Национального банка на 21.11.2026: $1 = 2,9943 BYN.

Источник

Tproger · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме