Hallo：用于肖像图像动画的分层音频驱动视觉合成

Hallo，可以根据单张图像和音频输入生成唱歌和说话视频，并能控制人物表情和姿态，和EMO相比，Hallo由于使用了扩散模型来实现层次化的音频驱动视觉合成，它能够通过输入语音，生成对应的人物嘴唇同步、表情变化和姿态变化的动画。提高了语音与生成动画之间的对齐精度，使动画的嘴唇、表情和姿态与语音的同步。

Hallo功能特征：

• 虚拟角色动画生成：通过语音音频输入生成逼真的、动态的虚拟角色动画，并实现虚拟角色的口型、表情和姿态的精确同步。

• 真实角色动画生成：将技术应用于真实人物的语音驱动动画生成，生成的动画能准确反映真实人物的表情和动作变化。

• 多种运动控制：提供对角色表情、姿态和嘴唇运动的精确控制，支持多种表情和姿态的自适应控制，增强动画的多样性和真实性。

• 跨演员应用：支持不同身份的个性化动画生成，通过音频输入，生成适应不同角色身份的动画效果。

• 歌唱动画生成：通过语音和歌曲音频输入，生成同步的歌唱动画，动画能够准确反映歌唱时的口型和表情变化。

Hallo其它特点：

• 实时性：采用扩散模型结构，增强了动画生成的实时性，使得生成的动画更加逼真和自然。

• 个性化：可以根据不同的演员或角色定制不同的个性化的动画效果。

• 多样性：提供多种运动控制，包括表情、姿态和嘴唇运动，使动画更加多样化和真实性。

Hallo项目地址：https://fudan-generative-vision.github.io/hallo

Hallo Github：https://github.com/fudan-generative-vision/hallo

Hallo 论文：https://arxiv.org/abs/2406.08801

HuggingFace：https://huggingface.co/fudan-generative-ai/hallo