BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%BTC $62 468 -1.9%ETH $1 742 -2.0%SOL $73 +0.8%TON $1,01 -5.0%
ииBittalk · по материалам iXBT

Экс-исследователь OpenAI выпустил Jev — модель, которая вместо текста выдаёт вероятности решений

Экс-исследователь OpenAI выпустил Jev — модель, которая вместо текста выдаёт вероятности решений

Бывший сотрудник OpenAI Диогу Алмейда, участвовавший в создании ChatGPT, основал TypeSafe AI и выпустил модель Jev. Она не генерирует текст, а возвращает числовые вероятности заранее заданных решений, что делает её в 10–20 раз дешевле языковых моделей в отдельных тестах. Нагрузка на API оказалась такой, что компания на короткое время перестала обслуживать пользователей.

Диогу Алмейда, бывший исследователь OpenAI, принимавший участие в создании ChatGPT и разработке RLHF (обучения с подкреплением на основе обратной связи от людей), основал стартап TypeSafe AI два года назад. Недавно компания представила Jev — трансформерную модель, которая не относится к классу больших языковых моделей и вместо текста возвращает вероятности заранее определённых решений. По словам Алмейды, LLM слишком сильно заточены под человеческий язык, и это мешает применять их в автоматизации, где программам нужны не тексты, а конкретные варианты действий.

Заранее заданный набор вариантов исключает галлюцинации в привычном смысле: Jev не генерирует произвольный текст. Такой подход, по данным компании, делает модель быстрее и дешевле языковых. Входные токены TypeSafe измеряет миллиардами, выходные делает бесплатными.

Как Jev показала себя в тестах

Инженер Vercel Пранит Шарма сообщил, что после замены модели OpenAI на Jev проверка инструкций стала выполняться в 5–18 раз быстрее и точнее. В другом тесте Jev классифицировала деловые письма немного менее точно, чем Gemini, но обошлась в 10–20 раз дешевле. Разработчики отдельно отметили, что модель возвращает числовую вероятность своего решения.

Интерес к Jev оказался настолько высоким, что TypeSafe на короткое время не смогла обслуживать пользователей через API из-за нагрузки.

Зачем Jev там, где уже есть языковые модели

Модель можно использовать не только вместо LLM, но и вместе с ними: например, для проверки действий ИИ-агентов, обнаружения попыток обойти ограничения и отслеживания последовательностей их действий. Ещё один сценарий — маршрутизация запросов, когда отдельная модель в реальном времени решает, хватит ли для задачи дешёвой системы или нужна более мощная.

Архитектуру Jev в TypeSafe подробно не раскрывают. Алмейда говорит, что модель обучается исключительно на синтетических данных с помощью собственного метода, который компания называет «обучением с подкреплением на основе калиброванных решений».

Откуда взялось название

Имя модели отсылает к экономисту Уильяму Стэнли Джевонсу и парадоксу Джевонса: удешевление ресурса может привести к росту его потребления. TypeSafe рассчитывает применить тот же принцип к машинному обучению — сделать простые интеллектуальные решения настолько дешёвыми и быстрыми, чтобы их встраивали прямо в программное обеспечение. Компания уже планирует выпускать новые версии модели для других модальностей.

Источник

iXBT · права на исходный материал принадлежат автору.

Материал носит информационный характер и не является индивидуальной инвестиционной рекомендацией. Операции с криптовалютами связаны с риском полной потери вложенных средств. Подробнее — «Отказ от ответственности».

Bittalk в Telegram

Разборы событий, итоги дня и то, что двигает рынок. Без сигналов и обещаний — только факты и что они значат.

Читать в Telegram →

По теме