Microsoft запатентовала ИИ, который правит речь и губы говорящего в прямом эфире

Microsoft подала заявку и получила патент на систему искусственного интеллекта, которая редактирует видео и аудио выступления почти без задержки, прямо по ходу трансляции. Работает она не только со звуком: по описанию, ИИ-агенты переделывают и изображение говорящего — движение губ и выражение лица подгоняются под новую версию речи.

Слова и фразы система отбирает по заранее заданным правилам или по профилю конкретного пользователя: что-то вырезает, что-то заменяет другим. Куски видео и звука до правки и после неё алгоритм обрабатывает отдельно, чтобы стык не бросался в глаза и в уши.

От перевода до правки «неуместного»

В патенте Microsoft перечисляет и мирные сценарии: перевод прямого эфира на язык зрителя, удаление слов-паразитов, сглаживание заикания и других особенностей речи. Дальше в списке идут варианты спорнее — вырезать местные выражения и разговорные обороты, неправильно произнесённые или употреблённые слова, оскорбительные и неуместные высказывания. Чем заменить выброшенное, система, судя по описанию, может искать в интернете.

Форматы перечислены широко: лекции, презентации, телепрограммы, церемонии, шоу, спортивные трансляции. Зритель в итоге получает не только перевод, но и версию выступления, подогнанную под его личные настройки.

Эталонная запись остаётся

Патент предусматривает хранение исходного видео и аудио как эталона — по ним можно отличить оригинал трансляции от обработанной копии. Сама по себе такая функция не мешает изменённым записям расходиться дальше и путать зрителя.

Сроков запуска и планов по внедрению технологии в патенте нет.