PixVerse — находка из Китая для генерации видео, анимаций и фото

Генерация видео нейросетью — это уже не новость, а вот генерация качественных и реалистичных видео и анимаций — это уже интересно. Подобные возможности предоставил китайский стартап, который достаточно быстро привлек к себе внимание благодаря возможности создавать короткие вирусные ролики в хорошем качестве. В материале рассмотрим нейронку PixVerse подробнее и поймем, действительно ли она так хороша.

PixVerse: о нейронке

PixVerse — нейросеть для генерации фото, видео и анимационных сцен от китайского стартапа. Работает нейронка по обычному принципу: введение промпта и генерация контента, при этом PixVerse предоставляет разнообразие шаблонов, что позволяет создавать контент высокого уровня без навыков в видеомонтаже.

Отличительная черта нейронки — спецэффекты: нейросеть может превратить человека в героя фильма или добавить в видеоролик новые элементы, а может и вовсе преобразовать видео в анимационный шедевр.

Основные функции нейросети:

• Генерация контента по текстовому описанию с широким пулом дополнительных настроек.

• Генерация видеоконтента на основе изображения.

• Кастомизация контента.

• Генерация видеоконтента со звуковыми эффектами и голосами.

• Синхронизация речи с движением губ.

Приятные бонусы — пополнение кредитов каждый день (60 кредитов, вот только количество генераций видеоконтента в качестве 720/1080 без подписки ограничено вне зависимости от количества кредитов), быстрая генерация контента (примерно до 10 сек), регулярные обновления и дополнения (обычно появляются новые стили), мобильное приложение для iOS и Android, а также поддержка 13 языков, среди которых присутствует русский.

Как использовать PixVerse

1. Перейти по ссылке.
2. Авторизоваться одним из удобных способов (сервисы Google/Apple или Discord).
3. Приступить к работе.

Теперь протестируем генерацию видео. Сначала попробуем воспользоваться уже готовыми промптами, выберем интересный вариант и попросим нейронку сгенерировать видеоролик.

Видео получается отличного качества, хотя задан просто текстовый промпт (который позаимствовали у другого пользователя, но стоит заметить, что промпт очень подробный). Никаких дополнительных настроек (стилей, слияния, переходов и шаблонов нет) не было.

Эмоции, мимика, тень персонажей, фон и прочие элементы выглядят очень привлекательно, однозначно 10 из 10.

Исследуя функционал нейронки дальше, хотелось бы остановиться на разделе «Персонаж». Чтобы найти этот инструмент, необходимо левую боковую панель промотать вниз и выбрать вкладку «Персонаж», после загрузить фотографию и дать ему имя.

Работает функция следующим образом: загружаете фотографию, после чего можете генерировать видеоконтент, выбирая своего персонажа главным героем.

На данный момент эта функция работает только при генерации видеороликов, возможно, для генерации фото ее добавят позже, хотя при работе с изображениями можно загрузить просто фото и попросить нейронку обработать именно это изображение.

Протестируем функцию с персонажем на деле и попросим нейросеть сгенерировать видео с девушкой выше в контексте зоопарка.

Результат годный. Ролик соответствует промпту, девушка меняет мимику, смотрит в камеру и начинает улыбаться, а на заднем фоне разгуливают животные. Небольшой нюанс в том, что нейронка немного изменила внешние черты лица девушки (возможно, это можно пофиксить при помощи промпта, указывая, что изменять внешность нельзя).

Обратите внимание, напротив каждой генерации (справа) всегда отображаются ее параметры, поэтому если при просмотре главной страницы PixVerse вам понравится какое-то видео или изображение, то вы всегда можете узнать, какие настройки использовались.

Теперь попробуем преобразовать фото девушки выше (которое мы использовали для создания персонажа) в стиль 3D-анимации.

Неплохо, при этом в PixVerse доступна модель Nano Banana, которая на данный момент является одной из лучших в мире, поэтому если поиграться подольше, то можно однозначно получить что-то впечатляющее.

Хочется обратить внимание на небольшую деталь, которая может облегчить работу каждому, — это цифровой код любого контента «сид». Каждая фотография, видео и анимация, сгенерированная в PixVerse, имеет сид, который определяет стиль контента, а именно гамму, цвет, настроение, ракурс и т. п. Расположение сида — последняя строчка в параметрах сгенерированного контента.

Поэтому если вам понравится стилистика какого-то изображения или видео, то вы можете скопировать сид, указать его при настройках генерации и получить контент в похожем стиле (при создании контента настройка сида находится напротив поля промпта).

Ну и не забывайте, что нейронка отлично справляется с голосом и звуковыми эффектами. При работе с ними можно использовать как базовые голоса (которые доступны в PixVerse), так и загрузить собственный вариант. Помимо этого, можно просто попросить нейронку добавить звуки, например шум волн и т. п.

Заключение

Подводя итоги, можно сказать, что PixVerse — однозначно неплохой инструмент, который порадует качеством создаваемых видео и анимаций. Конечно, до уровня кинематографа пока далековато, но сгенерировать приятную для глаз анимацию или небольшой ролик вполне возможно, при этом присутствует разнообразие настроек, что позволяет не только создавать новый контент, но и улучшать и обрабатывать уже созданные видео, анимации и фото.