Google открыла веса мультимодальной модели EmbeddingGemma 2 на 740M параметров

Google представила EmbeddingGemma 2 — мультимодальную модель для построения эмбеддингов (векторных представлений данных). Первая версия умела работать только с текстом, новая построена на базе Gemma 4 и переводит в единое векторное пространство текст, код, изображения, видео и аудио. На вход модели, соответственно, можно подавать и смешанные данные.

Общий размер модели — 740M параметров, но устроена она модульно: текстовая часть занимает 270M, а энкодеры для изображений и аудио загружаются отдельно, когда в них есть необходимость. Контекст вырос до 8K токенов — это примерно 5,5 минуты аудио или 29 картинок за один раз.

На текстовых задачах качество осталось на уровне первой версии, а на работе с кодом выросло заметно. Google заявляет, что среди мультимодальных эмбеддеров с числом параметров до 1B это лучший результат. Веса открыты под лицензией Apache 2.0.