Dubbing Studio — нейросеть для дублирования любого видео

Раньше дублирование видео с сохранением оригинального голоса актера было только мечтой, ведь один человек просто не мог сыграть тысячи дублей и знать десятки языков. В 2024 году с появлением новых нейронных сетей это становится реальностью. В этой статье мы рассмотрим одну из нейросетей, которая позволит вам продублировать как короткое видео, так и целый фильм на 29 языков.

Dubbing Studio: о нейронке

В октябре 2023 года многофункциональная платформа для работы с голосом и звуками elevenlabs.io реализовала новый инструмент под названием AI Dubbing. Основная задача Dubbing Studio — перевод видео на 29 языков (русский поддерживается) с сохранением оригинального голоса (при необходимости можно дублировать не только целые видео, но и отдельные фрагменты ролика).

Преимущество Dubbing Studio — простота и бесплатный функционал (если вы переводите короткие видео до 10 минут). В случае если необходимо продублировать, к примеру, фильм, тогда уже придется оплатить подписку).

Процесс работы с AI Dubbing настолько упрощен, что можно просто вставить ссылку (например, на YouTube или TikTok), задать параметры и получить готовый дублированный ролик.

Функционал Dubbing Studio

В процессе работы над видео нейронка автоматически расшифровывает его, переводит на необходимый язык и создает новую звуковую дорожку. Голос каждого героя отдельно изолируется и клонируется перед созданием перевода, чтобы впоследствии его можно было перевести на другой язык быстрее.

Заметим, что могут происходить небольшие накладки, например, если быстро разговаривают два героя или есть посторонние звуки, голос одного из героев может немного исказиться. В таком случае просто сгенерируйте видео еще раз.

Среди функционала, который пользователь может выбрать:

• дублирование на 29 языков;
• количество спикеров в видео, чтобы нейронка не накладывала один голос на всех героев ролика;
• разрешение видео (бесплатная подписка не разрешает менять качество с medium);
• временной интервал дубляжа.

Как заявляет elevenlabs.io, при повторной генерации одного и того же видео результат может немного отличаться, так как нейронка может использовать другие слова для улучшения общего восприятия видео.

Помимо дублирования, elevenlabs.io предлагает и другие функции для работы с голосом:

• Синтез речи. Раздел, где можно ввести текстовый запрос, и нейронка озвучит его одним из 40 голосов (голос можно выбирать).
• Звуковые эффекты. Вкладка для генерации звуковых эффектов, к примеру поездки автомобиля.
• Голосовая лаборатория. Раздел, где можно как создать синтетические голоса с нуля, так и менять уже существующий голос.
• Проекты. Вкладка для работы над фильмами и роликами, где нужно проводить различные манипуляции над голосами (но функционал доступен после оформления платной подписки).
• Студия озвучивания. Раздел для озвучки: загружаете видео, добавляете голос и звуковые эффекты.
• Аудио. Вкладка для чтения текста на сайтах.

Как использовать Dubbing Studio

Чтобы начать использовать Dubbing Studio, вам потребуется:

1. Пройти процесс авторизации/регистрации (можно авторизоваться через гугл-почту) и перейти к инструменту Dubbing.
2. Задать название проекту, выбрать исходный язык видео и язык, на который нужно его перевести.
3. Загрузить видео или вставить ссылку на ролик, который необходимо продублировать.
4. Задать параметры видео (количество спикеров).
5. Нажать Create и дождаться результата.

После этого пролистайте страницу сайта чуть ниже, и вы увидите, что видео находится в процессе обработки, а по окончании генерации ролик уже можно будет скачать или просмотреть.

Перейдя к режиму просмотра, обратите внимание, как звучат голоса. Если где-то нейронка их смажет, просто сгенерируйте ролик еще раз.

И не забывайте, что переозвучка коротких роликов (до 10 минут) бесплатна, но видео длительностью до 30 минут потребуют ежемесячной подписки ценной в $5, а видео продолжительностью до 2 часов обойдутся в $11 в первый месяц. Последняя подписка предлагает дублирование контента до 40 часов за подписку ценой в $330 в месяц.

Заключение

Dubbing Studio — отличная нейронка, которую полезно держать под рукой, если вы работаете с видео, ведь теперь закрыть вопрос с переводом на самые популярные языки можно всего за пару щелчков и бесплатно.