Автор сравнил семь локальных моделей с Claude на разборе продакшен-инцидента за 40 прогонов
Разработчик прогнал через семь локальных 27B-моделей тот же промпт, код и песочницу, с которыми Claude разобрал реальный сбой в продакшене за двадцать минут. Тесты шли на двух RTX 5090, всего около 40 запусков.
Разработчик провёл сравнение локальных моделей на реальном продакшен-инциденте. Сбой выглядел так: пул соединений забит, активных запросов дюжина, рестарт помогает. Claude нашёл причину за двадцать минут.
Вместо того чтобы просто обновить библиотеку и закрыть вопрос, автор поставил эксперимент. У него простаивали две RTX 5090, и он проверил, справится ли локальная модель на 27B параметров с той же задачей. Условия остались одинаковыми: тот же промпт, тот же код, та же песочница. В тесте участвовали семь локальных моделей, всего около 40 прогонов.
Детали промпта и результаты по каждой модели автор раскрывает в тексте. Часть исходника в присланном виде обрывается на середине предложения — полные итоги эксперимента в нём не приведены.
Хабр ИИ · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Bloomberg: Moonshot готовит IPO в Гонконге на $5 млрдForbes · 6 октября
- ▪Vals AI: агенты Claude Opus 5.5 нашли два полупроводника для памяти нового поколенияData Secrets TG · 6 октября
- ▪Минцифры направит 10 млрд рублей на российские ИИ-проектыХайтек · 6 октября
- ▪ЭКОПСИ спрогнозировала рост дефицита рабочих в России до 2,61 млн к 2030 годуForbes · 6 октября