Генерация видео с помощью HunyuanVideo: возможности и ограничения

HunyuanVideo — нейросеть от Tencent, способная создавать пятисекундные видео по текстовым описаниям на английском и китайском языках. Модель работает на основе мультимодальной архитектуры и использует более 13 миллиардов параметров, генерируя ролики в разрешениях 544p и 720p. Нейросеть доступна как онлайн на сайте Tencent, так и для локальной установки на компьютер с мощной видеокартой NVIDIA, поддерживающей CUDA.
Генерация видео с помощью HunyuanVideo: возможности и ограничения
Изображение носит иллюстративный характер

Несмотря на заявленное высокое качество, сравнение с аналогами показывает неоднозначные результаты. HunyuanVideo демонстрирует реалистичное движение, текстуры и освещение в большинстве случаев, но иногда выдает артефакты генерации, например, неестественные движения объектов или искажения, вроде дополнительных плавников у рыб. Однако, сценам с автомобилями, подводным миром и пейзажами в целом удается соответствовать описанию.

Для установки модели на ПК требуются значительные ресурсы: GPU NVIDIA с поддержкой CUDA и от 45 до 80 ГБ видеопамяти. Это делает нейросеть менее доступной для широкого круга пользователей. Несмотря на то, что HunyuanVideo превосходит некоторых конкурентов, например, Runway Gen-3 Alpha Turbo и Dream machine от Luma, по качеству, есть предположение, что другие модели могут демонстрировать более реалистичные результаты. Развитие подобных технологий движется в сторону увеличения продолжительности создаваемых видео, что может стать следующим шагом для HunyuanVideo.


Новое на сайте

19857Острова как политический побег: от Атлантиды до плавучих государств Питера Тиля 19856Яйца, которые спасли предков млекопитающих от худшего апокалипсиса на Земле? 19855Могут ли омары чувствовать боль, и почему учёные требуют запретить варить их живыми? 19854Премия в $3 млн за первое CRISPR-лечение серповидноклеточной анемии 19853Почему сотрудники игнорируют корпоративное обучение и как это исправить 19852Тинтагель: место силы Артура или красивая легенда? 19851Голоса в голове сказали правду: что происходит, когда галлюцинации ставят диагноз точнее... 19850Куда исчезает информация из чёрных дыр, если они вообще исчезают? 19849Чёрная дыра лебедь Х-1 бросает джеты со скоростью света — но кто ими управляет? 19848Что увидели фотографы над замком Линдисфарн — и почему они закричали? 19847Почему антисептики в больницах могут создавать устойчивых к ним микробов? 19846Правда ли, что курица может жить без головы? 19845Как Оскар Уайльд использовал причёску как оружие против викторианской морали? 19844Назальный спрей против всех вирусов: как далеко зашла наука 19843«Я ещё не осознал, что мы только что сделали»: первая пресс-конференция экипажа Artemis II
Ссылка