Разработчик обучил распознавание и синтез крымскотатарской речи на одной видеокарте

За несколько месяцев на одной потребительской видеокарте удалось получить работающее распознавание речи для крымскотатарского языка и синтез, который озвучил целую книгу. Об этом рассказал автор проекта. Метрика WER (word error rate, доля ошибок в словах) снизилась с 0,3463 до 0,1701. Синтез прочитал вслух шестнадцать глав — 1 час 58 минут звучания.

На обучение моделей ушли часы. Почти всё остальное время заняли данные, их проверка и разбор того, какие из собственных измерений автора давали неверные результаты. Об этом он пишет отдельно, подчёркивая, что вторая часть работы — про данные и методологию — переносится на любой язык, тогда как первая, связанная с конкретным набором данных, — нет.

Автор заранее оговаривает границы публикации: конкретных источников аудио, договорённостей с правообладателями, точных рецептов пайплайна и внутренних скриптов в материале нет. Вместо этого приводятся метрики, порядки величин, методология проверки и описание ошибок, с которыми пришлось столкнуться.