PortraitGen:多模态人物肖像视频编辑工具

PortraitGen是由中国科学技术大学推出的一款创新AI人像视频编辑工具。能够将2D人像视频提升到4D效果。它支持多模态编辑,能够在短短30分钟内实现视频中人物的服装、表情和光线环境的改变。PortraitGen还具备面部意识编辑模块,提升了表情编辑的流畅性。用户可以通过输入视频和参考图片,轻松实现文字修改人物效果。

cfimages.png

PortraitGen主要特点:

  • 快速编辑:PortraitGen可以在短短30分钟内完成视频编辑,编辑后的3D肖像支持每秒100帧的流畅播放。

  • 多模态输入:用户可以通过文本、图像或3D模型输入进行编辑,支持多种编辑方式,包括文本驱动和图像驱动的风格化编辑。

  • 面部意识编辑模块:该模块旨在提高表情质量,并保留个性化的面部特征,使得编辑效果更加自然和细腻。

  • 光照调整:用户可以根据提供的光照描述来调节视频帧的光照,使得整个视频更加和谐美观。

  • 技术优势:PortraitGen采用了神经高斯纹理技术,与传统的球谐系数方法不同,能够为每个高斯点存储可学习的特征,从而实现更丰富的编辑效果。

  • 高帧率:编辑后的视频支持每秒100帧的流畅播放。

  • 换衣效果:通过风格迁移和虚拟试穿实现。

PortraitGen技术细节:

  • SMPL-X系数:用于单目视频的追踪。

  • 神经高斯纹理:构建3D高斯特征场。

  • 面部意识编辑:提高表情质量,保留个性化面部结构。

  • 风格迁移:用于图像驱动编辑。

  • InstructPix2Pix:用于文本驱动编辑。

PortraitGen使用场景:

  • 影视制作:快速生成高质量人像视频。

  • 广告行业:灵活变换视频风格。

  • 社交媒体:个性化视频内容创作。

  • 教育培训:制作教学视频。

  • 虚拟试穿:时尚行业应用。

PortraitGen是一款由中国科学技术大学研究团队开发的先进AI人像视频编辑工具,它在2024年9月23日通过Arxiv发布。PortraitGen通过文字指令或参考图片来修改视频中人物的外观,实现包括但不限于换衣、调整光照效果、改变人物特征等多模态编辑功能。

PortraitGen获取方式:

项目地址:https://ustc3dv.github.io/PortraitGen

Github地址:https://github.com/USTC3DV/PortraitGen-code

论文地址:https://arxiv.org/abs/2409.13591

收藏

相关文章

最新工具
Vozart AI
Vozart AI

一款AI音乐与歌词生成器,可把文本提示或歌词转换为录音室品质的免...

CodeBuff
CodeBuff

一款在终端使用的 AI 编程工具,它能够快速索引代码库、精准地编...

百度Comate AI IDE
百度Comate AI IDE

百度推出的文心快码独立AI原生开发环境工具,这是行业内首个具备多...

unDraw
unDraw

美国设计师Katerina Limpitsouni创作的开源插画...

Storyset
Storyset

一个由知名素材平台Freepik公司旗下的免费在线自定义矢量插画...

Jigsaw Planet
Jigsaw Planet

一个数百万免费在线拼图平台,用户能直接通过浏览器创建、游玩和分享...

GeoFS
GeoFS

一款免费的网页版多人飞行模拟器网站,只要浏览器就可以运行,不需要...

Avido AI
Avido AI

通过 AI 技术帮用户生成适合 YouTube 和 TikTok...

表答AI
表答AI

一款能抓取网页内容并能情感分析的数据分析产品,并把采集分析过程自...

Recaster AI
Recaster AI

通过导入产品图像或数据,生成定制的SEO内容,支持从Shopif...