Нейросеть LipDub AI для автоматического дубляжа: новый шаг в видео-переводе

Новая нейросеть LipDub AI, ранее доступная ограниченному кругу пользователей, теперь открыта для всех. Она способна переозвучивать видео на 40 языков, включая русский, и синхронизировать движения губ персонажей с новым аудио. Ключевая особенность – возможность клонирования голоса говорящего, что позволяет сохранить его тембр при переводе, делая дубляж более естественным.
Нейросеть LipDub AI для автоматического дубляжа: новый шаг в видео-переводе
Изображение носит иллюстративный характер

Сервис не только переводит речь, но и синхронизирует артикуляцию, что позволяет использовать его даже на вымышленных языках, таких как валирийский. Пользователи могут загружать готовые аудиофайлы и настраивать соответствие губ и звука. Кроме того, есть функция озвучивания текста до 1000 символов с сохранением оригинального голоса, требующая 30-секундного видео для клонирования.

LipDub AI уже применялся в рекламе, например, для создания португальской версии ролика с Уиллом Смитом. Сервис позволяет обрабатывать минутные видео в разрешении 1080p. Для ознакомления предоставляются 50 бесплатных кредитов, при этом перевод видео стоит 10, а клонирование голоса – 25 кредитов.

Стоимость подписки на LipDub AI начинается от 149 долларов в месяц. Несмотря на это, сервис открывает новые возможности для создателей контента, хотя на рынке уже есть конкуренты, предлагающие аналогичные возможности в более доступном ценовом диапазоне. Подобные технологии могут быть полезны и в YouTube для премиум-подписчиков.


Новое на сайте

19521Банковский троян VENON на Rust атакует Бразилию с помощью девяти техник обхода защиты 19520Бонобо агрессивны не меньше шимпанзе, но всё решают самки 19519Почему 600-килограммовый зонд NASA падает на Землю из-за солнечной активности? 19518«Липовый календарь»: как расписание превращает работников в расходный материал 19517Вредоносные Rust-пакеты и ИИ-бот крадут секреты разработчиков через CI/CD-пайплайны 19516Как хакеры за 72 часа превратили npm-пакет в ключ от целого облака AWS 19515Как WebDAV-диск и поддельная капча помогают обойти антивирус? 19514Могут ли простые числа скрываться внутри чёрных дыр? 19513Метеорит пробил крышу дома в Германии — откуда взялся огненный шар над Европой? 19512Уязвимости LeakyLooker в Google Looker Studio открывали доступ к чужим базам данных 19511Почему тысячи серверов оказываются открытой дверью для хакеров, хотя могли бы ею не быть? 19510Как исследователи за четыре минуты заставили ИИ-браузер Perplexity Comet попасться на... 19509Может ли женщина без влагалища и шейки матки зачать ребёнка естественным путём? 19508Зачем учёные из Вены создали QR-код, который невозможно увидеть без электронного... 19507Девять уязвимостей CrackArmor позволяют получить root-доступ через модуль безопасности...
Ссылка