Исследователи MIT предложили передавать между ИИ-агентами KV-кеш вместо текста

Группа исследователей из MIT описала архитектуру SwaT (Swarm Telepathy), которая передаёт контекст между ИИ-агентами напрямую — в виде KV-кеша, то есть уже обработанного моделью состояния, а не текстового пересказа.

В мультиагентных системах контекст приходится передавать постоянно: один агент закончил свою часть задачи, второй должен её продолжить. Обычный способ — текстовое саммари — требует лишних вычислений на составление и повторную обработку, а часть информации при этом теряется. SwaT обходит промежуточный шаг и передаёт кеш ключей и значений, который модель и так держит в памяти при работе с контекстом.

На бенчмарках SwaT вместе со сжатием кеша дал в среднем на 40% более высокое качество ответов и четырёхкратное ускорение по сравнению с передачей текстовых саммари. Метод работает и между разными семействами моделей. Отдельно исследователи показали, что таким способом визуальную информацию от VLM (vision-language model) удалось передать обычной текстовой модели.