Тестирование девяти скиллов для Claude Code: часть не отличается от пустышки, один ухудшил результат

Автор сравнил девять популярных скиллов для Claude Code с нейтральным текстом той же длины. Агент 450 раз решал задачи SWE-bench и Terminal-Bench — большинство скиллов не дали прироста, один оказался хуже пустышки, и ни один не снизил стоимость работы.
Проведено сравнение девяти самых востребованных скиллов для Claude Code с нейтральным текстом той же длины, в котором не было ни одного совета по работе. Агент 450 раз решал задачи из наборов SWE-bench и Terminal-Bench — со скиллом, с пустышкой и без каких-либо дополнений вовсе.
Скилл superpowers, набравший почти 300 тысяч звёзд, по результатам не отличался от пустышки. Один из девяти показал результат хуже неё. Ни один скилл не сделал работу дешевле, чем без него: часть расходов уходит на то, что скилл постоянно присутствует в контексте.
В материале разобрано, какие два скилла всё-таки дали эффект, и как в день публикации автор обнаружил у себя ошибку, изменившую один из вердиктов.
Хабр ИИ · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября