Memorilla заменяет документы в контексте LLM 16 векторами памяти

Исследователи из Стэнфорда, Пенсильванского университета, MIT и Торонтского университета описали Memorilla — память для языковой модели, которая вместо фрагментов документов подаёт ей 16 векторов, собранных под конкретный вопрос из всей коллекции. Первая версия статьи вышла на arXiv 15 октября, третья — 3 ноября. По замерам авторов, с замороженной Qwen3-8B метод лидирует на 5 бенчмарках из 8 среди вариантов RAG, Mem0, MemoRAG, сжатия промпта и полного контекста, а на проверке фактов FactKG даёт 84,33% точности против 80,43% у полного контекста при сокращении документной части входа в 108 раз. Для тех, кто строит ассистентов с долгой историей переписки или вопросы-ответы по большой базе документов, это заявка на третий путь между RAG и «засунуть всё в контекст»: документы кодируются один раз, а модуль на 194 млн параметров учится доставать из всех эмбеддингов то, что нужно вопросу.

Источник: Tproger