Генерация видео с помощью HunyuanVideo: возможности и ограничения

HunyuanVideo — нейросеть от Tencent, способная создавать пятисекундные видео по текстовым описаниям на английском и китайском языках. Модель работает на основе мультимодальной архитектуры и использует более 13 миллиардов параметров, генерируя ролики в разрешениях 544p и 720p. Нейросеть доступна как онлайн на сайте Tencent, так и для локальной установки на компьютер с мощной видеокартой NVIDIA, поддерживающей CUDA.
Генерация видео с помощью HunyuanVideo: возможности и ограничения
Изображение носит иллюстративный характер

Несмотря на заявленное высокое качество, сравнение с аналогами показывает неоднозначные результаты. HunyuanVideo демонстрирует реалистичное движение, текстуры и освещение в большинстве случаев, но иногда выдает артефакты генерации, например, неестественные движения объектов или искажения, вроде дополнительных плавников у рыб. Однако, сценам с автомобилями, подводным миром и пейзажами в целом удается соответствовать описанию.

Для установки модели на ПК требуются значительные ресурсы: GPU NVIDIA с поддержкой CUDA и от 45 до 80 ГБ видеопамяти. Это делает нейросеть менее доступной для широкого круга пользователей. Несмотря на то, что HunyuanVideo превосходит некоторых конкурентов, например, Runway Gen-3 Alpha Turbo и Dream machine от Luma, по качеству, есть предположение, что другие модели могут демонстрировать более реалистичные результаты. Развитие подобных технологий движется в сторону увеличения продолжительности создаваемых видео, что может стать следующим шагом для HunyuanVideo.


Новое на сайте

19164Уязвимые обучающие приложения открывают доступ к облакам Fortune 500 для криптомайнинга 19163Почему ботнет SSHStalker успешно атакует Linux уязвимостями десятилетней давности? 19162Microsoft устранила шесть уязвимостей нулевого дня и анонсировала радикальные изменения в... 19161Эскалация цифровой угрозы: как IT-специалисты КНДР используют реальные личности для... 19160Скрытые потребности клиентов и преимущество наблюдения над опросами 19159Академическое фиаско Дороти Паркер в Лос-Анджелесе 19158Китайский шпионский фреймворк DKnife захватывает роутеры с 2019 года 19157Каким образом корейские детские хоры 1950-х годов превратили геополитику в музыку и... 19156Научная революция цвета в женской моде викторианской эпохи 19155Как новый сканер Microsoft обнаруживает «спящих агентов» в открытых моделях ИИ? 19154Как новая кампания DEADVAX использует файлы VHD для скрытой доставки трояна AsyncRAT? 19153Как новые китайские киберкампании взламывают госструктуры Юго-Восточной Азии? 19152Культ священного манго и закат эпохи хунвейбинов в маоистском Китае 19151Готовы ли вы к эре коэффициента адаптивности, когда IQ и EQ больше не гарантируют успех? 19150Иранская группировка RedKitten применяет сгенерированный нейросетями код для кибершпионажа
Ссылка