Разработчик сравнил два способа выбора инструментов для локальной модели на 27B

Автор ИИ-оркестратора с более чем 90 инструментами проверил, сколько описаний показывать модели за раз. По его замерам, узкий набор из примерно 20 инструментов работает лучше, чем полный список, если модель локальная и рассчитана на закрытый контур.
У ИИ-оркестратора, о котором рассказывает автор, больше девяноста инструментов: таблицы, документы, почта, задачи, веб-страницы, презентации. На каждом шаге модель решает, какой из них вызвать, и возникает вопрос — показывать ей весь список сразу или только подходящую часть.
Оркестратор работает и с крупными облачными моделями, и с малыми, которые помещаются на бытовой видеокарте. Минимальная конфигурация — RTX 3090 на 24 ГБ и Qwen3.6 27B. Цель — заставить этот вариант выполнять корпоративные задачи с приемлемым качеством и скоростью.
Обычно оркестратор отдаёт модели весь перечень инструментов, а она уже выбирает нужный. Так устроены Hermes, OpenClaw и Ouroboros: ни один из них не подбирает инструменты по тексту запроса. У некоторых есть режим для слабых моделей с малым контекстом, где показывается только каталог — имя и короткое описание — плюс инструмент «подключить», и модель сама находит и загружает нужное. Но эти агенты рассчитаны на фронтир-модели уровня Claude и GPT-5, которые держат сотню инструментов без потерь.
Задача автора другая: локальная 27B в закрытом контуре. Для неё узкий набор, по его словам, измеримо лучше.
Как устроен узкий набор
Схема такая: перед основным вызовом модели работает роутер. По тексту запроса он выбирает раздел — «датасеты», «почта», «презентации» — и внутри раздела подраздел. В итоге модель получает не девяносто описаний, а около двадцати, о существовании остальных на этом шаге не знает.
Хабр ИИ · права на исходный материал принадлежат автору.
Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».
Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.
Читать в Telegram →По теме
- ▪Microsoft сделает Copilot средством диагностики неполадок Windows3DNews · 18 ноября
- ▪Google открыла бесплатный доступ к ИИ-агенту Gemini Tasks в шести странахiXBT · 18 ноября
- ▪OpenAI выпустила GPT-6.2 Astra и Sol: Astra в API подешевела на 20%Tproger · 17 ноября
- ▪Сбер оценил выручку ОМК в 2,569 трлн рублей до 2036 годаiXBT · 17 ноября