Нейросеть LipDub AI для автоматического дубляжа: новый шаг в видео-переводе

Новая нейросеть LipDub AI, ранее доступная ограниченному кругу пользователей, теперь открыта для всех. Она способна переозвучивать видео на 40 языков, включая русский, и синхронизировать движения губ персонажей с новым аудио. Ключевая особенность – возможность клонирования голоса говорящего, что позволяет сохранить его тембр при переводе, делая дубляж более естественным.
Нейросеть LipDub AI для автоматического дубляжа: новый шаг в видео-переводе
Изображение носит иллюстративный характер

Сервис не только переводит речь, но и синхронизирует артикуляцию, что позволяет использовать его даже на вымышленных языках, таких как валирийский. Пользователи могут загружать готовые аудиофайлы и настраивать соответствие губ и звука. Кроме того, есть функция озвучивания текста до 1000 символов с сохранением оригинального голоса, требующая 30-секундного видео для клонирования.

LipDub AI уже применялся в рекламе, например, для создания португальской версии ролика с Уиллом Смитом. Сервис позволяет обрабатывать минутные видео в разрешении 1080p. Для ознакомления предоставляются 50 бесплатных кредитов, при этом перевод видео стоит 10, а клонирование голоса – 25 кредитов.

Стоимость подписки на LipDub AI начинается от 149 долларов в месяц. Несмотря на это, сервис открывает новые возможности для создателей контента, хотя на рынке уже есть конкуренты, предлагающие аналогичные возможности в более доступном ценовом диапазоне. Подобные технологии могут быть полезны и в YouTube для премиум-подписчиков.


Новое на сайте

19857Острова как политический побег: от Атлантиды до плавучих государств Питера Тиля 19856Яйца, которые спасли предков млекопитающих от худшего апокалипсиса на Земле? 19855Могут ли омары чувствовать боль, и почему учёные требуют запретить варить их живыми? 19854Премия в $3 млн за первое CRISPR-лечение серповидноклеточной анемии 19853Почему сотрудники игнорируют корпоративное обучение и как это исправить 19852Тинтагель: место силы Артура или красивая легенда? 19851Голоса в голове сказали правду: что происходит, когда галлюцинации ставят диагноз точнее... 19850Куда исчезает информация из чёрных дыр, если они вообще исчезают? 19849Чёрная дыра лебедь Х-1 бросает джеты со скоростью света — но кто ими управляет? 19848Что увидели фотографы над замком Линдисфарн — и почему они закричали? 19847Почему антисептики в больницах могут создавать устойчивых к ним микробов? 19846Правда ли, что курица может жить без головы? 19845Как Оскар Уайльд использовал причёску как оружие против викторианской морали? 19844Назальный спрей против всех вирусов: как далеко зашла наука 19843«Я ещё не осознал, что мы только что сделали»: первая пресс-конференция экипажа Artemis II
Ссылка