TypeSafe AI выпустила модель Jev, которая не генерирует текст, а сразу отдаёт категорию

Компания TypeSafe AI официально представила свою первую модель Jev. Её основал Диого Алмейда — соавтор метода RLHF и один из авторов статьи про InstructGPT, техника из которой легла в основу ChatGPT в 2022 году. Компания работала в стелсе два года.

Идея нового класса моделей, который разработчики называют System One Models, в том, что для многих задач текст не нужен вовсе. Когда модели надо определить категорию запроса, оценить риск или выбрать следующий шаг агента, обычная LLM всё равно порождает ответ токен за токеном, а потом его приходится парсить. Jev вместо этого сразу отдаёт структурированный результат и вероятность каждого варианта: не пишет словами, куда отправить запрос пользователя, а возвращает готовую категорию.

По данным 3DNews, модель предназначена для общения не с людьми, а с другими машинами — это ещё одна сторона того же подхода. Она работает эффективнее и обходится дешевле традиционных больших языковых моделей. Издание также сообщает, что Jev умеет играть в Doom.

На таких задачах модель работает в 20-200 раз быстрее обычных LLM — от 70 до 500 мс. Цена заявлена в $0,042 за 1 млн входных токенов, выходные токены бесплатны. Сейчас Jev доступна в раннем доступе.