Новая технология INFP, разработанная ByteDance, преобразует статические портретные фотографии в динамические, заставляя их «говорить» и реагировать на аудио. Модель анализирует нюансы человеческого поведения, включая мимику и повороты головы на основе видео, затем сопоставляет звуки с естественными движениями.
Инновация INFP заключается в ее способности различать роли «говорящего» и «слушающего» без дополнительной настройки. Система использует Motion-Based Head Imitation для анализа движений головы и Audio-guided motion generation для сопоставления звуков с естественными жестами. Специальный диффузионный трансформер обеспечивает плавность и естественность движений.
Разработчики внедрили коллекцию разговоров DyConv для обучения модели, что, по их утверждениям, позволило превзойти аналоги по точности сопоставления движений губ и сохранению индивидуальных черт лица. При этом создается широкий спектр естественных движений, делая оживленные портреты более реалистичными.
В планах ByteDance дальнейшее развитие INFP для объединения анимации с текстом, что позволит анимировать всё тело, расширяя творческие возможности. Несмотря на опасения некоторых пользователей относительно «жутковатого» эффекта от оживления фото, предварительные результаты показывают, что технология Bytedance достигла значительных успехов в естественности анимации.
Изображение носит иллюстративный характер
Инновация INFP заключается в ее способности различать роли «говорящего» и «слушающего» без дополнительной настройки. Система использует Motion-Based Head Imitation для анализа движений головы и Audio-guided motion generation для сопоставления звуков с естественными жестами. Специальный диффузионный трансформер обеспечивает плавность и естественность движений.
Разработчики внедрили коллекцию разговоров DyConv для обучения модели, что, по их утверждениям, позволило превзойти аналоги по точности сопоставления движений губ и сохранению индивидуальных черт лица. При этом создается широкий спектр естественных движений, делая оживленные портреты более реалистичными.
В планах ByteDance дальнейшее развитие INFP для объединения анимации с текстом, что позволит анимировать всё тело, расширяя творческие возможности. Несмотря на опасения некоторых пользователей относительно «жутковатого» эффекта от оживления фото, предварительные результаты показывают, что технология Bytedance достигла значительных успехов в естественности анимации.
