Нейросеть LipDub AI для автоматического дубляжа: новый шаг в видео-переводе

Новая нейросеть LipDub AI, ранее доступная ограниченному кругу пользователей, теперь открыта для всех. Она способна переозвучивать видео на 40 языков, включая русский, и синхронизировать движения губ персонажей с новым аудио. Ключевая особенность – возможность клонирования голоса говорящего, что позволяет сохранить его тембр при переводе, делая дубляж более естественным.
Нейросеть LipDub AI для автоматического дубляжа: новый шаг в видео-переводе
Изображение носит иллюстративный характер

Сервис не только переводит речь, но и синхронизирует артикуляцию, что позволяет использовать его даже на вымышленных языках, таких как валирийский. Пользователи могут загружать готовые аудиофайлы и настраивать соответствие губ и звука. Кроме того, есть функция озвучивания текста до 1000 символов с сохранением оригинального голоса, требующая 30-секундного видео для клонирования.

LipDub AI уже применялся в рекламе, например, для создания португальской версии ролика с Уиллом Смитом. Сервис позволяет обрабатывать минутные видео в разрешении 1080p. Для ознакомления предоставляются 50 бесплатных кредитов, при этом перевод видео стоит 10, а клонирование голоса – 25 кредитов.

Стоимость подписки на LipDub AI начинается от 149 долларов в месяц. Несмотря на это, сервис открывает новые возможности для создателей контента, хотя на рынке уже есть конкуренты, предлагающие аналогичные возможности в более доступном ценовом диапазоне. Подобные технологии могут быть полезны и в YouTube для премиум-подписчиков.


Новое на сайте

19989Шесть историй, которые умещаются на ладони 19986Как 30 000 аккаунтов Facebook оказались в руках вьетнамских хакеров? 19985LofyGang вернулась: как бразильские хакеры охотятся на геймеров через поддельные читы 19984Автономная проверка защиты: как не отстать от ИИ-атак 19983Взлом Trellix: хакеры добрались до исходного кода одной из ведущих компаний по... 19982Почему почти 3000 монет в норвежском поле перевернули представление о викингах? 19981Как поддельная CAPTCHA опустошает ваш счёт и крадёт криптовалюту? 19980Слежка за каждым шагом: как ИИ превращает государство в машину тотального контроля 19979Как хакеры грабят компании через звонок в «техподдержку» 19978Почему именно Нью-Йорк стал самым уязвимым городом восточного побережья перед... 19977Как одна команда git push открывала доступ к миллионам репозиториев 19976Зачем древние народы убивали ножами и мечами: оружие как основа власти 19975Как Python-бэкдор DEEPDOOR крадёт ваши облачные пароли незаметно? 19974Послание в бутылке: математика невозможного 19973Почему ИИ-инфраструктура стала новой целью хакеров быстрее, чем ждали все?
Ссылка