«Яндекс» запустил сервис закадрового перевода видео с YouTube и Vimeo

«Яндекс» запустил в полноценном формате сервис закадрового перевода видео с YouTube, Vimeo и еще нескольких популярных платформ. Об этом РБК сообщили в пресс-службе компании.

«Яндекс» начал предлагать автоматически перевести англоязычные видеоролики. Научно-популярные передачи, кулинарные шоу, лекции Илона Маска и Ричарда Фейнмана, стендапы и видеоблоги — все это теперь можно посмотреть в русской озвучке», — говорится в сообщении.

Как отметили в компании, перевод получается закадровым. При этом оригинальная дорожка приглушается и на нее накладывается новая. Для перевода используются два голоса: для мужских голосов — мужской, для женских — женский (голосовой помощник Алиса).

В «Яндексе» рассказали, что сейчас можно перевести практически любое видео на английском языке на YouTube, Vimeo и еще нескольких популярных платформах. Перевод доступен в «Яндекс.Браузере» для операционных систем Windows, macOS, Linux и Android, а также в приложении «Яндекс» Android и iOS.

«Перевод происходит в несколько этапов. Сначала «Яндекс» распознает речь, превращает ее в текст и с помощью нейронных сетей разбивает на предложения. Потом определяет пол говорящего, переводит предложения на русский язык и синтезирует голос. Остается совместить перевод с видеорядом. Это совсем не тривиальная задача, потому что в русском языке предложения длиннее, чем в английском. Здесь на помощь снова приходят нейросети», — сообщили в компании.

Чтобы посмотреть видео в русской озвучке, пользователю необходимо нажать на кнопку в плеере и подождать какое-то время. Процесс перевода занимает несколько минут, после чего юзеру придет уведомление.

По словам руководителя «Яндекс.Браузера» Романа Иванова, автоматический перевод видео открывает перед людьми целый мир, который был недоступен из-за языкового барьера. «Полностью стереть языковые границы в интернете — одна из наших главных задач. Мы приступили к ее решению еще в 2011 году, и сейчас умеем переводить все основные виды контента: текст, изображения, видео», — сказал он.

Иванов уточнил, что компания в дальнейшем будет добавлять в перевод видео новые языковые пары и голоса, помогая людям узнавать новое и получать от этого удовольствие.

«Яндекс» впервые показал прототип закадрового переводчика видео в середине июля. Тогда в компании говорили, что новая технология объединяет разработки «Яндекс.Переводчика», биометрии, распознавания и синтеза речи. Она определяет пол выступающего на видео и подбирает соответствующий голос. За темпом речи говорящего следит алгоритм, за счет чего переводчик делает паузы, замедляет или ускоряет речь, чтобы закадровый голос совпадал с картинкой.

Схожие технологии разрабатывают несколько зарубежных стартапов. Так, в конце июня сервис видеозвонков Zoom купил немецкий стартап Kites, который создает субтитры на других языках в режиме реального времени. Как заявили в Kites, технология, основанная на искусственном интеллекте, позволяет отображать стенограмму до того, как говорящий завершит предложение.

Михаил Юшков