Автор сравнил семь локальных моделей с Claude на разборе продакшен-инцидента за 40 прогонов

Разработчик прогнал через семь локальных 27B-моделей тот же промпт, код и песочницу, с которыми Claude разобрал реальный сбой в продакшене за двадцать минут. Тесты шли на двух RTX 5090, всего около 40 запусков.
Разработчик провёл сравнение локальных моделей на реальном продакшен-инциденте. Сбой выглядел так: пул соединений забит, активных запросов дюжина, рестарт помогает. Claude нашёл причину за двадцать минут.
Вместо того чтобы просто обновить библиотеку и закрыть вопрос, автор поставил эксперимент. У него простаивали две RTX 5090, и он проверил, справится ли локальная модель на 27B параметров с той же задачей. Условия остались одинаковыми: тот же промпт, тот же код, та же песочница. В тесте участвовали семь локальных моделей, всего около 40 прогонов.
Детали промпта и результаты по каждой модели автор раскрывает в тексте. Часть исходника в присланном виде обрывается на середине предложения — полные итоги эксперимента в нём не приведены.
Хабр ИИ · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября