Запрос к ИИ на редком языке стоит до 17 раз дороже, чем на английском

Стоимость обработки запроса к языковой модели зависит от языка: для редких языков она может быть до 17 раз выше, чем для английского. Об этом говорится в исследовании, на которое обратило внимание 3DNews. Авторы называют это новым видом цифрового неравенства.

Двадцать лет назад под цифровым неравенством понимали прежде всего ограничение доступа к интернету. С распространением генеративных моделей к нему добавился другой разрыв: один и тот же по смыслу запрос требует разного объёма вычислений в зависимости от того, на каком языке он написан.

Причина в устройстве моделей. Их обучают преимущественно на английских текстах, и для английского языка словарь и правила токенизации токенизации настроены эффективнее. Редкий язык дробится на большее число фрагментов, каждый фрагмент — это отдельный шаг обработки, а значит, больше вычислений и выше цена.

По данным исследования, разница в стоимости между наиболее и наименее распространёнными языками достигает 17 раз. Плата за это ложится на носителей редких языков: они получают тот же ответ дороже и при этом хуже представлены в обучающих данных, что сказывается на качестве результата.

Для русскоязычного пользователя вывод практический: стоимость работы с моделями считается не только по числу запросов, но и по языку, на котором они написаны. Тех, кто платит за токены по тарифу, разница касается напрямую.