MultiGO：实现了从单张图像生成高保真3D人体模型的突破

MultiGO是什么？

港科广团队的MultiGO方案用分层建模的方式，从单张图片生成高保真3D人体模型，把人体从基础体型到细节纹理分层细化，解决了传统三维重建细节不足的问题。这个成果入选了CVPR 2025，还能用在虚拟试衣、游戏角色生成和影视特效等领域。它通过三级几何学习增强了对深度误差的抗性，能把表面细节还原到亚毫米级别，很有实用价值。

MultiGO技术

三级几何学习框架

• 骨架增强模块：通过将3D傅里叶特征投影到2D空间，结合SMPL-X人体网格作为几何先验，增强人体骨架的建模。傅里叶空间位置编码提升了3D模型与2D图像的语义对齐能力，使得模型能够更精准地捕捉到人体姿态特征。

• 关节增强策略：在训练过程中对关节点位置施加扰动，提升模型对深度估计误差的鲁棒性。这一策略通过重点调整影响深度感知的参数，避免因深度歧义导致的肢体位置重建不准确。

• 皱纹优化模块：采用类似扩散模型去噪的方法，将表面皱纹视为可优化的噪声模式，逐步恢复出更精细化的高频细节。这一创新方法使得MultiGO能够生成亚毫米级的表面细节，有效弥补了传统方法在衣物褶皱等高频细节上的不足。

高精度细节还原

• MultiGO通过三级分层建模策略，实现了从宏观姿态到微观细节的多尺度精细化重建。实验结果显示，MultiGO在CustomHuman和THuman3.0两个测试集上均取得了行业领先的性能指标。

工作原理

SLE 模块将 3D 傅里叶特征投影到输入图像 2D 空间，让高斯重建模型利用人体形状先验知识，准确捕捉人体姿势；JLA 策略在训练时施加受控扰动，提高模型在推理时对深度误差的鲁棒性，改善人体关节深度估计；WLR 模块把粗糙网格视为高斯噪声，以重建高斯的高质量纹理为条件细化褶皱，优化几何细节。

MultiGO优势

• 高保真3D人体重建：能够从单目图像中生成高保真的3D人体模型，支持衣物褶皱、皮肤纹理等细节的精细重建。

• 快速生成与调整：支持快速生成个性化3D虚拟形象，并允许灵活调整细节，显著降低美术资源生产成本。

• 多场景适配：适用于需要快速生成且对真实感和多尺度细节还原要求高的应用场景。

MultiGO的应用场景

• 虚拟试衣与时尚电商：消费者只需上传一张全身照片，即可生成高保真的3D人体模型，系统能够自动模拟不同服装的穿着效果。

• 游戏与元宇宙：通过单张照片快速创建个性化的3D虚拟形象，分层结构支持灵活调整。

• 影视特效与虚拟制作：在特效制作中，演员的单视角照片即可重建高精度3D模型，用于动作捕捉或替身合成，分层设计允许后期单独编辑特定层级。

项目链接

https://multigohuman.github.io/