Microsoft запатентовала ИИ, который в реальном времени может буквально вкладывать слова людям в рот

Как работает система

Патент, на который первым обратил внимание сервис отслеживания патентов Patentlyze, описывает систему для почти мгновенной обработки видео и дополненной реальности на живых мероприятиях.

ИИ-агенты будут находить заданные слова и менять или удалять их, одновременно корректируя лицо и рот говорящего. Для этого система станет использовать заданные параметры или профили пользователей. Чтобы переходы звучали и выглядели плавно, она также сможет редактировать видео и аудио непосредственно до и после заменённого или удалённого слова.

На фоне дипфейков, дезинформации и потока низкокачественного контента, созданного ИИ, такая система может стать новым инструментом персональной фильтрации — она будет незаметно менять происходящее в реальном времени. Согласно патенту, зрители смогут смотреть любые живые мероприятия, не слыша того, что им не хочется слышать.

Что сможет менять система

Один из возможных вариантов применения — перевод в реальном времени: зритель сможет слышать и видеть трансляции и другие живые видео на предпочитаемом языке.

Систему также предлагают использовать, чтобы убирать из речи слова-паразиты вроде «э-э» и «а-а», а также запинки и речевые нарушения.

Другие варианты идут дальше. Патент допускает удаление «личных слов и фраз», например придуманных выражений, а также разговорных слов и оборотов — таких как y’all или bite the bullet. Система, говорится в документе, сможет убирать слова, произнесённые невнятно, неправильно или не к месту, оговорки, оскорбительные, нечуткие и неуместные выражения. Для замены слов она, возможно, будет обращаться к поиску в интернете.

Получается, живые трансляции могут перестать быть по-настоящему живыми.

Microsoft не сразу ответила на запрос о комментарии.

Как это может изменить просмотр трансляций

Озвучивание и монтаж видео существуют давно и используются как по обычным, так и по сомнительным причинам. Но автоматическая обработка прямого эфира с помощью ИИ-агентов может изменить сам подход аудитории к живому видео. Сейчас зритель, которому не нравится услышанное, может просто выключить трансляцию. Система Microsoft предлагает вместо этого подстраивать чужую речь под личный вкус.

Помимо перевода, возникает вопрос: не усилит ли такая система персональные информационные пузыри, если будет исправлять ошибки или удалять слова и выражения, связанные с местным диалектом говорящего? Например, что плохого в том, чтобы услышать, как житель юга США говорит y’all?

В патенте говорится, что исходные видео и звук мероприятия могут записываться и храниться как «эталонная запись». Это учитывает возможные злоупотребления системой и путаницу, которую она может вызвать.

Где могут применять технологию

Среди примеров в патенте — лекции, презентации, различные телепередачи, в том числе церемонии награждения, игровые и кулинарные шоу, а также спортивные трансляции.