Генерация видео с помощью HunyuanVideo: возможности и ограничения

HunyuanVideo — нейросеть от Tencent, способная создавать пятисекундные видео по текстовым описаниям на английском и китайском языках. Модель работает на основе мультимодальной архитектуры и использует более 13 миллиардов параметров, генерируя ролики в разрешениях 544p и 720p. Нейросеть доступна как онлайн на сайте Tencent, так и для локальной установки на компьютер с мощной видеокартой NVIDIA, поддерживающей CUDA.
Генерация видео с помощью HunyuanVideo: возможности и ограничения
Изображение носит иллюстративный характер

Несмотря на заявленное высокое качество, сравнение с аналогами показывает неоднозначные результаты. HunyuanVideo демонстрирует реалистичное движение, текстуры и освещение в большинстве случаев, но иногда выдает артефакты генерации, например, неестественные движения объектов или искажения, вроде дополнительных плавников у рыб. Однако, сценам с автомобилями, подводным миром и пейзажами в целом удается соответствовать описанию.

Для установки модели на ПК требуются значительные ресурсы: GPU NVIDIA с поддержкой CUDA и от 45 до 80 ГБ видеопамяти. Это делает нейросеть менее доступной для широкого круга пользователей. Несмотря на то, что HunyuanVideo превосходит некоторых конкурентов, например, Runway Gen-3 Alpha Turbo и Dream machine от Luma, по качеству, есть предположение, что другие модели могут демонстрировать более реалистичные результаты. Развитие подобных технологий движется в сторону увеличения продолжительности создаваемых видео, что может стать следующим шагом для HunyuanVideo.


Новое на сайте

19989Шесть историй, которые умещаются на ладони 19986Как 30 000 аккаунтов Facebook оказались в руках вьетнамских хакеров? 19985LofyGang вернулась: как бразильские хакеры охотятся на геймеров через поддельные читы 19984Автономная проверка защиты: как не отстать от ИИ-атак 19983Взлом Trellix: хакеры добрались до исходного кода одной из ведущих компаний по... 19982Почему почти 3000 монет в норвежском поле перевернули представление о викингах? 19981Как поддельная CAPTCHA опустошает ваш счёт и крадёт криптовалюту? 19980Слежка за каждым шагом: как ИИ превращает государство в машину тотального контроля 19979Как хакеры грабят компании через звонок в «техподдержку» 19978Почему именно Нью-Йорк стал самым уязвимым городом восточного побережья перед... 19977Как одна команда git push открывала доступ к миллионам репозиториев 19976Зачем древние народы убивали ножами и мечами: оружие как основа власти 19975Как Python-бэкдор DEEPDOOR крадёт ваши облачные пароли незаметно? 19974Послание в бутылке: математика невозможного 19973Почему ИИ-инфраструктура стала новой целью хакеров быстрее, чем ждали все?
Ссылка