Генерация видео с помощью HunyuanVideo: возможности и ограничения

HunyuanVideo — нейросеть от Tencent, способная создавать пятисекундные видео по текстовым описаниям на английском и китайском языках. Модель работает на основе мультимодальной архитектуры и использует более 13 миллиардов параметров, генерируя ролики в разрешениях 544p и 720p. Нейросеть доступна как онлайн на сайте Tencent, так и для локальной установки на компьютер с мощной видеокартой NVIDIA, поддерживающей CUDA.
Генерация видео с помощью HunyuanVideo: возможности и ограничения
Изображение носит иллюстративный характер

Несмотря на заявленное высокое качество, сравнение с аналогами показывает неоднозначные результаты. HunyuanVideo демонстрирует реалистичное движение, текстуры и освещение в большинстве случаев, но иногда выдает артефакты генерации, например, неестественные движения объектов или искажения, вроде дополнительных плавников у рыб. Однако, сценам с автомобилями, подводным миром и пейзажами в целом удается соответствовать описанию.

Для установки модели на ПК требуются значительные ресурсы: GPU NVIDIA с поддержкой CUDA и от 45 до 80 ГБ видеопамяти. Это делает нейросеть менее доступной для широкого круга пользователей. Несмотря на то, что HunyuanVideo превосходит некоторых конкурентов, например, Runway Gen-3 Alpha Turbo и Dream machine от Luma, по качеству, есть предположение, что другие модели могут демонстрировать более реалистичные результаты. Развитие подобных технологий движется в сторону увеличения продолжительности создаваемых видео, что может стать следующим шагом для HunyuanVideo.


Новое на сайте

20066[b]Фотосинтез в глазах мышей: возможно ли это без превращения в растение?[/b] 20065[b]СПКЯ стало СПМЯ: почему переименование болезни, затрагивающей миллионы женщин, заняло... 20064[b]Почему великая пирамида Гизы пережила все землетрясения за 4500 лет[/b] 20063[b]Генетика Homo erectus: что зубная эмаль рассказала о наших предках[/b] 20062[b]Кости в бухте эребус: что кости моряков Франклина рассказывают спустя полтора века[/b] 20061[b]Крупнейший плавучий ветрогенератор в мире: Китай испытывает установку у берегов... 20060[b]Карие глаза младенца стали индиго после лечения от COVID-19[/b] 20058[b]Почему серебряная чаша с Афиной пролежала в немецком лесу две тысячи лет?[/b] 20057[b]Дыра в атмосфере солнца: вспышка достигла пика и может зажечь полярное сияние[/b] 20056[b]Динго возрастом 950 лет: кто и зачем кормил могилу животного сотни лет?[/b] 20055[b]Томоэ гозэн: женщина-самурай, которая существовала на самом деле[/b] 20054[b]Что видели астронавты «Аполлона-12» над лунным горизонтом?[/b] 20053[b]Восковой блокнот на латыни и шёлковая туалетная бумага: кто посещал средневековый... 20052[b]Хантавирус на борту: 41 человек под наблюдением после рейса MV Hondius[/b]
Ссылка