PortraitGen:多模态人物肖像视频编辑工具
PortraitGen是由中国科学技术大学推出的一款创新AI人像视频编辑工具。能够将2D人像视频提升到4D效果。它支持多模态编辑,能够在短短30分钟内实现视频中人物的服装、表情和光线环境的改变。PortraitGen还具备面部意识编辑模块,提升了表情编辑的流畅性。用户可以通过输入视频和参考图片,轻松实现文字修改人物效果。
PortraitGen主要特点:
快速编辑:PortraitGen可以在短短30分钟内完成视频编辑,编辑后的3D肖像支持每秒100帧的流畅播放。
多模态输入:用户可以通过文本、图像或3D模型输入进行编辑,支持多种编辑方式,包括文本驱动和图像驱动的风格化编辑。
面部意识编辑模块:该模块旨在提高表情质量,并保留个性化的面部特征,使得编辑效果更加自然和细腻。
光照调整:用户可以根据提供的光照描述来调节视频帧的光照,使得整个视频更加和谐美观。
技术优势:PortraitGen采用了神经高斯纹理技术,与传统的球谐系数方法不同,能够为每个高斯点存储可学习的特征,从而实现更丰富的编辑效果。
高帧率:编辑后的视频支持每秒100帧的流畅播放。
换衣效果:通过风格迁移和虚拟试穿实现。
PortraitGen技术细节:
SMPL-X系数:用于单目视频的追踪。
神经高斯纹理:构建3D高斯特征场。
面部意识编辑:提高表情质量,保留个性化面部结构。
风格迁移:用于图像驱动编辑。
InstructPix2Pix:用于文本驱动编辑。
PortraitGen使用场景:
影视制作:快速生成高质量人像视频。
广告行业:灵活变换视频风格。
社交媒体:个性化视频内容创作。
教育培训:制作教学视频。
虚拟试穿:时尚行业应用。
PortraitGen是一款由中国科学技术大学研究团队开发的先进AI人像视频编辑工具,它在2024年9月23日通过Arxiv发布。PortraitGen通过文字指令或参考图片来修改视频中人物的外观,实现包括但不限于换衣、调整光照效果、改变人物特征等多模态编辑功能。
PortraitGen获取方式:
项目地址:https://ustc3dv.github.io/PortraitGen
Github地址:https://github.com/USTC3DV/PortraitGen-code
论文地址:https://arxiv.org/abs/2409.13591