HRAvatar:单目生成高质量3D头像方法

数字人、虚拟主播、AR/VR等领域快速发展的背景下,高效生成真实、可动、可重光照的3D头像成为关键需求。然而,从单目视频中生成高度逼真的可动画化头像仍面临诸多挑战,现有基于3D高斯(3DGS)的方法在重建质量上存在一些限制,如几何变形灵活性不足、表情追踪不准确、无法实现真实重光照等。

清华大学与IDEA团队合作,开发出HRAvatar——一种利用单目视频创建高质量、可重光照3D头像的新技术。它借助可学习的形变基和线性蒙皮,实现个性化几何变形,同时配备精准的表情编码器,降低追踪误差,提升重建品质。HRAvatar在实时性与细节呈现上表现出色,已被CVPR2025会议收录。实验表明,其在多项评估指标上优于现有技术,实时性能约155 FPS,还支持在新光照环境下进行重光照。

HRAvatar:单目生成高质量3D头像方法.jpg

HRAvatar的核心技术

  • 可学习形变基和线性蒙皮技术:通过自适应学习每个点的形变基与混合蒙皮权重,实现高斯点从标准姿态到各种表情和姿态的灵活变形,解决通用参数模型难以准确捕捉个性化表情变化的问题。

  • 精准的表情编码器:引入端到端的表情编码器,与3D头像重建联合优化,利用高斯重建损失进行监督,减少追踪误差,提升重建质量。

  • 外观建模与物理着色:将头像外观分解为反照率、粗糙度、菲涅尔反射等材质属性,引入反照率伪先验以更好解耦材质信息,使用简化的BRDF物理模型进行着色,并引入SplitSum近似技术对环境光照图进行预计算,实现高质量、可重光照的实时渲染。

HRAvatar的技术优势

  • 重建质量高:在所有评估指标上都优于现有方法,特别是在LPIPS上,重建的头像细节更丰富。

  • 实时性能好:渲染速度达到约155FPS,满足实时性要求。

  • HRAvatar重建的头像不仅可以进行驱动,还可以在新的环境光图下进行重光照或简单的材质编辑,适用于电影、游戏、沉浸式会议、AR/VR等领域。

项目相关链接

论文地址:https://arxiv.org/pdf/2503.08224

项目主页:https://eastbeanzhang.github.io/HRAvatar/

开源代码:https://github.com/Pixel-Talk/HRAvatar

收藏
最新工具
GreenVideo
GreenVideo

一个无次数限制的视频下载平台,免费、稳定、速度快,支持全球100...

证件星
证件星

一个在线 AI 智能证件照制作工具,小白也能轻松上手,十秒就能做...

id-photo
id-photo

证件照大师,专业的证件照在线处理网站,具有证件照换底色,证件照质...

RealBankNotes
RealBankNotes

一个全球纸币收藏网站。目前有54000张纸币,数量还在增加,就好...

MuscleWiki
MuscleWiki

一个能可视化全身肌肉的健身指南教程网站,有全面的锻炼库,包含 5...

写个字吧
写个字吧

用来生成汉字字帖简单好用的在线工具,只要帮用户练习书写。用户输入...

推推侠
推推侠

一款TikTok达人建联工具,具有精准推荐高潜达人、智能扩展爆单...

TryShortCut AI
TryShortCut AI

一款Excel助手,用户不需要编写复杂公式或VBA代码就能完成E...

TabBoost
TabBoost

一款基于Chrome的浏览器插件,设计上参考了 Arc 浏览器的...

Goblin Tools
Goblin Tools

一免费的专为神经多样性人群设计AI 应用,能帮用户分解任务、检查...