PortraitGen:多模态人物肖像视频编辑工具

PortraitGen是由中国科学技术大学推出的一款创新AI人像视频编辑工具。能够将2D人像视频提升到4D效果。它支持多模态编辑，能够在短短30分钟内实现视频中人物的服装、表情和光线环境的改变。PortraitGen还具备面部意识编辑模块，提升了表情编辑的流畅性。用户可以通过输入视频和参考图片，轻松实现文字修改人物效果。

PortraitGen主要特点：

• 快速编辑：PortraitGen可以在短短30分钟内完成视频编辑，编辑后的3D肖像支持每秒100帧的流畅播放。

• 多模态输入：用户可以通过文本、图像或3D模型输入进行编辑，支持多种编辑方式，包括文本驱动和图像驱动的风格化编辑。

• 面部意识编辑模块：该模块旨在提高表情质量，并保留个性化的面部特征，使得编辑效果更加自然和细腻。

• 光照调整：用户可以根据提供的光照描述来调节视频帧的光照，使得整个视频更加和谐美观。

• 技术优势：PortraitGen采用了神经高斯纹理技术，与传统的球谐系数方法不同，能够为每个高斯点存储可学习的特征，从而实现更丰富的编辑效果。

• 高帧率：编辑后的视频支持每秒100帧的流畅播放。
  

• 换衣效果：通过风格迁移和虚拟试穿实现。
  

PortraitGen技术细节：

• SMPL-X系数：用于单目视频的追踪。

• 神经高斯纹理：构建3D高斯特征场。

• 面部意识编辑：提高表情质量，保留个性化面部结构。

• 风格迁移：用于图像驱动编辑。

• InstructPix2Pix：用于文本驱动编辑。

PortraitGen使用场景：

• 影视制作：快速生成高质量人像视频。

• 广告行业：灵活变换视频风格。

• 社交媒体：个性化视频内容创作。

• 教育培训：制作教学视频。

• 虚拟试穿：时尚行业应用。

PortraitGen是一款由中国科学技术大学研究团队开发的先进AI人像视频编辑工具，它在2024年9月23日通过Arxiv发布。PortraitGen通过文字指令或参考图片来修改视频中人物的外观，实现包括但不限于换衣、调整光照效果、改变人物特征等多模态编辑功能。

PortraitGen获取方式：

项目地址：https://ustc3dv.github.io/PortraitGen

Github地址：https://github.com/USTC3DV/PortraitGen-code

论文地址：https://arxiv.org/abs/2409.13591