Нейронки для генерации VSL: раскадровка, аватары и липсинк

В прошлой статье мы рассказали, как быстро генерировать VSL по любым скриптам и техникам. Теперь рассмотрим инструментарий для работы с медиа.

Нам нужны:

1. Раскадровка в соответствии с текстом, который зачитывает доктор.
2. Говорящая голова врача с липсинком.
3. Видеоотзывы с товаром в руке.
4. Субтитры.

Многие из перечисленных далее сервисов выполняют сразу несколько задач. Поэтому все потребности по визуальным элементам и звуку могут закрыть буквально 2 сайта. Ниже библиотека нейронок для выбора пары: одна для раскадровки, другая — мультитул для остального.

Генерация видео по сценарию

Почти все решения для storyboard работают по принципу: извлечь ключевые фразы из скриптов и подгрузить видео из стоков. Разница в качестве подбора и дополнительном функционале.

Vids.New от Google

Google Vids — AI-ассистент для создания и редактирования видео.

В Vids.new нас интересует только storyboard. Это видеоредактор с автоматической черновой раскадровкой, стоками, VEO3, генератором изображений и другими ИИ-инструментами Гугла.

SB разбивает идею на логические сегменты, предлагает визуальные и звуковые элементы и возвращает черновик. Он не предназначен для сборки 100+ сцен. Длинные сценарии сжимает, сохраняя смысл.

Vids — удобный мощный редактор с игрушками, которых нигде нет. Но есть большой минус. В отличие от Pictory и Visla, он не собирает весь набор роликов строго по тексту, а переваривает все через Gemini, сокращает длину и дает черновик.

Дальше ручная работа, но благодаря встроенному поиску добавление медиа происходит за пару кликов. Плюс не надо переключаться в VEO или Banana — они уже встроены.

Что умеет Google Vids

Генерирует видео и фото с нуля прямо в редакторе.

Автоматически подбирает кадры со стоков в хорошем качестве без водяных знаков. Затем добавляет музыку и озвучивает, правда, нельзя управлять эмоциями и голосом. Можно скормить сценарий через гугл-документы или просто дать идею. Скрипт в любом случае попадет к Gemini, и он предложит сцены.

Встроенный поиск аудио, видео, звуков в стоках. Вместо долгого ручного поиска на разных сайтах, всего 1 текстовый инпут. За 3 клика можно поменять ролик, добавить музыку, звук. Озвучка редактируется локально, с привязкой к кадру.

Предлагает набор из 12 аватарок с автоматическим липсинком. Не поддерживает кастомные авы, не удаляет фон.

Если после клика на «Start a new video» не отображаются все пункты, у вас нет подписки (AI Pro и выше) или установленный язык не английский.

Генерим видео по шагам:

1. На vids.new нажмите «Start a new video».
2. Выберите storyboard.
3. Напишите инструкцию: «Create a video sales letter based on the script from the file» на английском.
   

   

4. В том же текстовом поле через символ @ + название файла найдите на диске сценарий.
   

   

5. Проверьте ключевые фразы, по которым подбираются кадры: добавьте, перепишите или удалите сцену.
6. Выберите дизайн по шаблону.
7. Добавляйте из стоков любые медиа и монтируйте. Помните, что озвучка привязана к сцене.

Посмотрите на диске видео (результат первой генерации) и текстовый файл. В Google Vids ролик вышел на 4 минуты. Pictory по тому же промпту вернул 15 минут. Это самый большой минус storyboard.

Несмотря на наличие лучших нейронок для визуала и встроенных стоков, Google Vids пока не может закрыть весь медиацикл VSL. Нет полной автоматической раскадровки строго по скриптам, нет функционала для работы с говорящими головами, субтитров, управления эмоциями в озвучке.

Pictory

Pictory автоматически собирает все кадры по заданному сценарию. Генерирует даже часовое видео. Инструкции лучше давать на английском.

Если не нравится голос, можно переозвучить через встроенный генератор. Поддерживает 15 языков, но новый текст зачитать не получится. Инструмент повторит первоначальный скрипт, по которому подбирались кадры.

Также можно заменить звуковую дорожку целиком.

Пример генерации.

На халяву создает видео до 5 минут.

Visla

Visla.us похож на Pictory, но настроек кастомизации больше. На платном тарифе за одну генерацию можно получить раскадровку с говорящей головой, субтитрами и нужным голосом. Аву и голос нужно заранее подготовить.

Функционал:

• копирование речи для озвучки;

• перевод и редактирование видео через AI;

• создание аватарок по фото и промпту;

• разный дизайн субтитров.

Кадры подбирает не идеально, но можно за 3 клика заменить нужный кусок и отрегулировать длину. Закадровый голос также настраивается отдельно по участкам.

Для полноценной работы с VSL потребуется тариф за $39.

Lumen5

Функционал Lumen 5:

• субтитры и звуковое сопровождение добавляются автоматически;

• озвучки нет, придется грузить отдельно файлом;

• качество подбора роликов выше, чем у большинства подобных инструментов;

• умеет комбинировать сразу несколько видео из разных стоков в одном кадре;

• локализация на высоком уровне;

• водяных знаков нет;

• в каждой сцене регулируется время, дизайн, текст;

• сам подбирает музыку;

• есть генератор изображений и встроенная галерея медиа.

По ссылке пример раскадровки.

Нейронки изучили скрипты, постарались найти видео и персонажей с привязкой к стране, даже кадр с джипни нашли.

На free-тарифе Lumen монтирует первые 2 минуты. Тарифы от $19. Максимальная длина ролика до 10 минут, даже по подписке.

Ltx.studio

Ltx.studio для создания видео, картинок и storyboard. Вместо раскадровки через стоки генерирует с нуля сначала статичный ряд, затем анимацию.

Загружаешь файл, AI пишет скрипт, и затем начинается магия.

Нейронка предлагает статичных персонажей.

Описывает, какой визуал должен быть в каждой сцене. Если ИИ напутал, можно отредактировать.

С нуля создается ряд изображений для первой части. Любая картинка анимируется по клику.

Триала не хватит даже на одну полноценную раскадровку. Для VSL нужно брать тариф за $28 и выше.

Мультитул-инструменты

Большинство AI-стартапов сейчас.

Многие сервисы заимствуют модели друг у друга, иногда выдают их за собственные. Многозадачность нам на руку, не нужно брать подписку в разных генераторах. Рассмотрим популярные решения для создания аватарок, img/text to video, озвучки с lip sync.

Heygen

Heygen поддерживает клонирование голоса, кастомные аватарки, удаление фона, перевод с автонастройкой липсинка. Умеет размещать товар на видео. Если нужна не просто говорящая голова, есть шаблоны с новостным оформлением и бытовые сцены. Все интересное только по подписке.

Халява ограничена 3 минутами, с минимальной подпиской ($29 monthly billing) получаем до 30.

Посмотрите пример генерации по фото с моделью Avatar Unlimited. Речь также от Heygen. Через Avatar IV получается чуть реалистичнее.

Hedra

Hedra создает аудио, видео и изображения.

Может озвучить самостоятельно или повесить существующую дорожку на фото. Если людей несколько, указывайте, кто именно говорит, иначе рот будет открываться сразу у всех.

Free-тариф ограничен 20 секундами ролика. На аудио дается 10 000 символов, хватает на 10–15 минут.

Wan.video

С появлением модели 2.2 Wan выдает неплохие аватарки с липсинком.

Результат img to video.

Пример говорящей головы из фото с синхронизацией губ.

Звуковое сопровождение можно генерировать с нуля, но набор голосов очень скудный, поэтому лучше загружать готовый файл.

Длина видео (в режиме Avatar) на бесплатке: до 6 секунд при озвучивании с нуля и до 60, если закачать дорожку. Также умеет создавать изображения и менять лица в роликах.

Vozo

Vozo.ai: клонирование голоса, lip sync, перевод с сохранением оригинального звучания, img to video, субтитры. При video to video сначала скопирует речь, потом установит скрипт, другими словами — реалистично поменяет текст монолога.

Vozo — один из самых удобных инструментов: загрузил видео + текст и ждешь результат. И не нужно отдельно заниматься персонажем. На халявные поинты получится набросать только 2–3 минуты.

Flora

Florafauna умеет параллельно генерировать текст, картинки и видео, под капотом премиальные нейронки. Длина ролика, в зависимости от модели, до 7 минут. Озвучки и субтитров нет.

Если нравится работать через подобные карты, попробуйте также Opencreator или Kling Lab.

Klingai

Результат Lip Sync.

Kling создает фото, видео, озвучку, делает липсинк. В режиме Elements можно задавать сразу несколько изображений и описать, как они расположены. Kling вернет динамичные кадры со всеми вводными.

Нет: субтитров, копирования голоса.

На халяву: img to video 10 секунд, lip-sync до минуты.

Другие инструменты

В основном мультитулы закрывают все потребности. В этом разделе сервисы, которые используются реже, они полезны, когда надо закрыть локальную задачу.

Клонирование голоса

• Resemble.ai: бесплатно до 4 минут.

Липсинк

• Mirage: ставит на фото качественную синхронизацию губ. Доступна озвучка с нуля по загруженному аудио. На free-тарифе загрузка недоступна и результаты до 15 секунд. Если длина устраивает, можно расшарить генерацию, открыть с другого браузера и скачать через код. Пример можете посмотреть по ссылке.

Озвучка

• Gemini speech generation;

• Minimax;

• Elevenlabs.

Удаление водяных знаков с видео

• Airbrush до 10 мин.

Субтитры

Сабы добавляют уже в конце, когда готова раскадровка с говорящей головой. Поэтому проще через редактор. Можно тот же CapCut, но внутри могут быть не все языки.

Subtitles

Subtitles: регистрация не требуется, распознает большинство языков, включая тагальский, тамильский, идиш. Меняется размер, шрифт, фон, расположение. Распознавание на хорошем уровне.

Withsubtitles

Withsubtitles бесплатно обрабатывает длинные ролики. Поддерживает 103 языка, даже Māori, Breton и Hawaiian. Есть десктоп-приложение.

Доступные настройки:

• шрифт, начертание, размер, расположение;

• текст субтитров;

• соотношение видео.

Заключение

Если вы еще не выбрали для себя парочку сервисов, определитесь сперва со storyboard, затем мультитул, чьи функции дополняют первую нейронку. К примеру, в Pictory нет работы с аватарками, а в Heygen авы на хорошем уровне. Или если у вас уже есть доступы к VEO, можно взять связку Visla + Vozo — так будет минимум ручной работы и быстрее скорость разработки. Если не боитесь ручной работы и хотите все сразу, начните с Vids.New от Google с лучшими ИИ на борту.

Цель одна — подготовить визуал и аудио под VSL, но одним хочется больше контроля, другим автономности, третьи хотят изначально более продуманную локализацию. Поэтому нет единой комбинации, которая подойдет всем.

Триал есть везде, тестируйте смело. Но не пытайтесь собрать VSL одними только бесплатными тарифами — только потеряете время.