PortraitGen:多模态人物肖像视频编辑工具

PortraitGen是由中国科学技术大学推出的一款创新AI人像视频编辑工具。能够将2D人像视频提升到4D效果。它支持多模态编辑,能够在短短30分钟内实现视频中人物的服装、表情和光线环境的改变。PortraitGen还具备面部意识编辑模块,提升了表情编辑的流畅性。用户可以通过输入视频和参考图片,轻松实现文字修改人物效果。

cfimages.png

PortraitGen主要特点:

  • 快速编辑:PortraitGen可以在短短30分钟内完成视频编辑,编辑后的3D肖像支持每秒100帧的流畅播放。

  • 多模态输入:用户可以通过文本、图像或3D模型输入进行编辑,支持多种编辑方式,包括文本驱动和图像驱动的风格化编辑。

  • 面部意识编辑模块:该模块旨在提高表情质量,并保留个性化的面部特征,使得编辑效果更加自然和细腻。

  • 光照调整:用户可以根据提供的光照描述来调节视频帧的光照,使得整个视频更加和谐美观。

  • 技术优势:PortraitGen采用了神经高斯纹理技术,与传统的球谐系数方法不同,能够为每个高斯点存储可学习的特征,从而实现更丰富的编辑效果。

  • 高帧率:编辑后的视频支持每秒100帧的流畅播放。

  • 换衣效果:通过风格迁移和虚拟试穿实现。

PortraitGen技术细节:

  • SMPL-X系数:用于单目视频的追踪。

  • 神经高斯纹理:构建3D高斯特征场。

  • 面部意识编辑:提高表情质量,保留个性化面部结构。

  • 风格迁移:用于图像驱动编辑。

  • InstructPix2Pix:用于文本驱动编辑。

PortraitGen使用场景:

  • 影视制作:快速生成高质量人像视频。

  • 广告行业:灵活变换视频风格。

  • 社交媒体:个性化视频内容创作。

  • 教育培训:制作教学视频。

  • 虚拟试穿:时尚行业应用。

PortraitGen是一款由中国科学技术大学研究团队开发的先进AI人像视频编辑工具,它在2024年9月23日通过Arxiv发布。PortraitGen通过文字指令或参考图片来修改视频中人物的外观,实现包括但不限于换衣、调整光照效果、改变人物特征等多模态编辑功能。

PortraitGen获取方式:

项目地址:https://ustc3dv.github.io/PortraitGen

Github地址:https://github.com/USTC3DV/PortraitGen-code

论文地址:https://arxiv.org/abs/2409.13591

收藏

相关文章

最新工具
CountAnything
CountAnything

一款先进的计数应用程序。您可以直接通过相机快速轻松地计数各种物品...

声动视界SoundView
声动视界SoundView

一款面向带货短视频的AI视频工具,声动视界SoundView提供...

阿里Accio
阿里Accio

阿里巴巴最近推出的全球首个B2B领域的对话式AI搜索引擎,Acc...

可栗口语
可栗口语

一款重塑英语学习体验的APP,通过AI技术轻松提升听说读写能力,...

SeedEdit
SeedEdit

字节跳动推出的AI图像编辑工具,只需一句话,SeedEdit即可...

PDFMathTranslate
PDFMathTranslate

一款开源的PDF文档翻译工具,专为翻译科技论文等PDF文件而设计...

LinkFoxAI
LinkFoxAI

跨境电商的AI助手,LinkFoxAI为跨境卖家提供AI模特、商...

微点智能考试系统
微点智能考试系统

高效有趣的智能考试系统,用人工智能将任何内容变成有趣的考试,让企...

晨羽智云
晨羽智云

一家提供高效、可靠的AIGC算力租赁服务的公司,致力于提供高效、...

自由画布
自由画布

百度文库和百度网盘联合推出的一款产品,自由画布打通了公域与个人授...