Разработчик сравнил два способа выбора инструментов для локальной модели на 27B

У ИИ-оркестратора, о котором рассказывает автор, больше девяноста инструментов: таблицы, документы, почта, задачи, веб-страницы, презентации. На каждом шаге модель решает, какой из них вызвать, и возникает вопрос — показывать ей весь список сразу или только подходящую часть.

Оркестратор работает и с крупными облачными моделями, и с малыми, которые помещаются на бытовой видеокарте. Минимальная конфигурация — RTX 3090 на 24 ГБ и Qwen3.6 27B. Цель — заставить этот вариант выполнять корпоративные задачи с приемлемым качеством и скоростью.

Обычно оркестратор отдаёт модели весь перечень инструментов, а она уже выбирает нужный. Так устроены Hermes, OpenClaw и Ouroboros: ни один из них не подбирает инструменты по тексту запроса. У некоторых есть режим для слабых моделей с малым контекстом, где показывается только каталог — имя и короткое описание — плюс инструмент «подключить», и модель сама находит и загружает нужное. Но эти агенты рассчитаны на фронтир-модели уровня Claude и GPT-5, которые держат сотню инструментов без потерь.

Задача автора другая: локальная 27B в закрытом контуре. Для неё узкий набор, по его словам, измеримо лучше.

Как устроен узкий набор

Схема такая: перед основным вызовом модели работает роутер. По тексту запроса он выбирает раздел — «датасеты», «почта», «презентации» — и внутри раздела подраздел. В итоге модель получает не девяносто описаний, а около двадцати, о существовании остальных на этом шаге не знает.