BTC $58 814 +5.5%ETH $1 654 +6.1%SOL $69 +5.3%TON $0,94 +4.9%BTC $58 814 +5.5%ETH $1 654 +6.1%SOL $69 +5.3%TON $0,94 +4.9%
ииBittalk · по материалам Хабр ИИ

Тест OpenCode на 13 задачах: Flash списал $0,67, Opus — $8,76

Разработчик прогнал 13 задач на Python через OpenCode четырьмя моделями — DeepSeek V4.1 Flash, DeepSeek V4 Pro, Claude Sonnet 5.5 и Claude Opus 5.5. Все 156 запусков прошли его скрытые тесты, а расходы разошлись более чем в 13 раз. Разница видна и в подходе: модели Claude оставляли в репозитории десятки новых тестов, DeepSeek проверял код временными скриптами и удалял их.

Разработчик прогнал 13 задач на Python через OpenCode 1.19.6 в четырёх моделях и сравнил расходы. Тест описан 19 ноября: десять отдельных функций с подробной спецификацией и три небольших репозитория объёмом от 87 до 299 строк. На каждую задачу отводилось по три попытки, всего 156 запусков.

На старте автор оговорил, что после исправления ошибки в его скрипте проверки у всех четырёх моделей получилось 39 из 39 успешных запусков. С баланса TeamoRouter за DeepSeek V4.1 Flash (в запросах — deepseek-flash-1017) списалось $0,67, за DeepSeek V4 Pro — $2,89 ≈ 8,65 BYN, за Claude Sonnet 5.5 — $3,65 ≈ 10,93 BYN, за Claude Opus 5.5 — $8,76 ≈ 26,23 BYN. За все 156 запусков в сумме ушло $15,98 ≈ 47,85 BYN.

По неокруглённым суммам Opus обошёлся в 13 раз дороже Flash, Sonnet — в 5,4 раза. Пересчёт тех же токенов по прайсам вендоров на 18 ноября 2026 года даёт $47,64 ≈ 143 BYN, из них на Opus пришлось бы $30,67 ≈ 91,84 BYN, на Flash — $0,79. Здесь разница достигает 38,6 раза, но это расчётная колонка, а не второй эксперимент.

Как проходили запуски

Агент работал в неинтерактивном режиме (opencode run) с настройками моделей по умолчанию. Из прав ему оставили редактирование файлов в рабочей директории и запуск python3, python, ls и cat, остальные команды запретили, как и webfetch и доступ за пределы директории. К обоим DeepSeek запросы шли через OpenAI-совместимый эндпоинт, к Claude — через Anthropic-совместимый. Перед каждым запуском создавалась чистая копия папки.

Задания: десять функций с плотным набором краевых случаев (парсинг размеров вроде 1.5 KiB, glob, cron, semver), а также три репозиторные задачи — добавить вложенные транзакции в key-value-хранилище, найти и починить баги в движке таблиц по четырём жалобам пользователей, сменить интерфейс отправки уведомлений с обновлением трёх вызывающих модулей, тестов и README. Решения проверялись скрытыми тестами вне рабочей папки агента, от 17 до 34 проверок на задачу, а для репозиториев дополнительно прогонялись родные тесты проекта.

Цена и время по моделям

Flash прошёл 39 из 39, списано $0,67, по прайсу вышло бы $0,79, на выполнение ушло 299 шагов и 287 тыс. выходных токенов. Медиана времени — 42 секунды на функциях и 80 секунд на репозиториях.

V4 Pro — 39 из 39, $2,89 против $3,40 ≈ 10,18 BYN по прайсу, 235 шагов, 364 тыс. токенов, 99 и 128 секунд.

Sonnet 5.5 — 39 из 39, $3,65 против $12,77 ≈ 38,24 BYN по прайсу, 658 шагов, 383 тыс. токенов, 80 и 293 секунды.

Opus 5.5 — 39 из 39, $8,76 против $30,67 по прайсу, 407 шагов, 776 тыс. токенов, 75 и 440 секунд.

Выходные токены посчитаны вместе с размышлениями: у Opus на них пришлось 469 тыс., у V4 Pro — 272 тыс., у Flash — 172 тыс. У Sonnet здесь ноль — с настройками по умолчанию OpenCode запускал его без режима размышлений. В пересчёте по прайсам 40% расходов Opus и 48% расходов Sonnet пришлось на запись в кеш, которая у Anthropic стоит на четверть дороже обычного входа. У DeepSeek отдельной платы за запись нет. Из кеша у всех четырёх моделей читалось от 73 до 94% входных токенов.

Разброс между попытками заметный: самый дорогой из трёх запусков одной модели на одной задаче в полтора раза дороже самого дешёвого по медиане, в четверти случаев — больше чем в 1,8 раза, а в самом заметном выбросе разница дошла до 4,2 раза. По трём попыткам автор не делает уверенных выводов о небольших различиях в цене.

Какие тесты модели оставили в проекте

Одинаковые «39 из 39» не означают одинаковый объём работы. В задаче с транзакциями для key-value-хранилища в исходном репозитории лежало пять базовых проверок, дописывать новые тесты не требовалось. После трёх запусков Sonnet в проекте оказывалось 28, 44 и 42 теста, у Opus — 33, 28 и 30. У обеих моделей DeepSeek во всех шести попытках остались те же пять исходных тестов.

Свой код DeepSeek при этом проверял — однострочниками в консоли или временными скриптами, которые не оставлял в проекте. В одном из запусков Flash создал _verify_tx.py, прогнал проверки и удалил файл командой python3 -c "import os; os.remove('_verify_tx.py')". Число оставленных тестов в критерии проверки не входило. В задаче с поиском багов новые тесты появились только в четырёх запусках из двенадцати, а разница в расходах сохранилась.

Почему пришлось исправить скрипт проверки

В третьей репозиторной задаче требовалось перевести модуль уведомлений на новый интерфейс и полностью удалить старую функцию send_message. Проверка искала подстроку send_message в любом .py-файле пакета и тестов. Второй запуск Opus она не засчитала, хотя все 20 скрытых тестов и 18 тестов в проекте прошли: агент удалил саму функцию и переписал вызовы, но добавил в набор тестов защиту от регрессии, которая проверяет, что старого имени больше нет в публичном API.

Правило изменили: в коде пакета старого имени быть не должно, а в tests/ нельзя импортировать или вызывать send_message. По новому правилу перепроверили все 12 запусков задачи — у 11 результат не изменился, а этот запуск Opus прошёл проверку, отсюда 39 из 39 в таблице.

Как Flash один раз вышел за рабочую папку

В задаче с glob один из запусков Flash решил осмотреться уровнем выше рабочей директории командами ls -la .. && ls -la ../.., а затем попробовал искать имя функции по домашнему каталогу через rg. Вторую команду OpenCode заблокировал, потому что rg не было в списке разрешённых, первую пропустил: ls и cat разрешались без ограничения по путям. Модель увидела названия соседних каталогов с другими запусками и затем написала реализацию.

Автор называет это недоработкой своей изоляции: скрытые тесты лежали вне рабочей папки, но держалось это на урезанном списке команд, а не на полноценной песочнице. Он проверил записи всех 1763 вызовов инструментов по характерным путям — обращений к скрытым тестам, эталонным решениям и содержимому чужих папок не нашёл, хотя такая проверка логов исчерпывающей гарантии не даёт. Следующие тесты он собирается запускать внутри контейнера.

Что ограничивает эти результаты

Все задачи небольшие: Python, до десяти файлов в репозитории, чёткие условия и быстрые тесты. Все четыре модели дошли до предела этого набора, поэтому для сравнения их возможностей нужен более сложный набор, а переносить результаты на крупный проект с неполными требованиями рано. Использовался только OpenCode 1.19.6 с настройками по умолчанию: первый запрос у Claude занимал около 31 тыс. токенов, у DeepSeek — около 20 тыс., в Claude Code расход может быть другим.

Из-за правил доступа две модели Claude получили в сумме 102 отказа при вызове инструментов, две модели DeepSeek — 30. Это могли увеличить число шагов, время и расходы, но величину эффекта автор отдельно не измерял. Каждая задача запускалась в новой сессии, поэтому стартовый запрос занимал заметную долю бюджета, а в длинной сессии соотношение расходов может измениться. Запуски шли в четыре параллельных потока, при другой нагрузке на серверы время может отличаться. Haiku, GPT, Gemini, Qwen, Kimi и GLM в серии не участвовали. Скрытые тесты и эталонные решения помогал готовить другой Claude, не из тестируемых версий.

Для следующей небольшой задачи с понятным условием и готовыми проверками автор выберет Flash: он прошёл все проверки, обошёлся дешевле остальных и показал наименьшую медиану времени в обеих группах. Доплата за V4 Pro прироста по числу успешных запусков не дала.

Пересчёт в белорусские рубли — по официальному курсу Национального банка на 22.11.2026: $1 = 2,9943 BYN.

Источник

Хабр ИИ · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме