TaoAvatar：阿里的一个高保真、轻量级的全身交互式数字人技术项目

TaoAvatar是什么？

TaoAvatar是一种高保真、轻量级的全身交互式数字人技术，基于3D高斯点绘制（3DGS）技术开发。它通过创建个性化的穿衣人类参数化模板，并将高斯点绑定到模板上以表示外观，从而实现逼真的全身数字人形象生成。TaoAvatar的核心优势在于能够在移动设备和AR设备上实时运行，同时保持高分辨率渲染和低存储需求。

TaoAvatar功能

• 高保真渲染：TaoAvatar能够生成逼真的3D全身数字人形象，支持高分辨率渲染，同时保持低存储需求。

• 实时交互：该技术能够在各种移动和AR设备上实时运行，支持90 FPS的高帧率渲染，适用于如Apple Vision Pro等高清立体设备。

• 多信号驱动：TaoAvatar可以通过多种信号驱动，包括面部表情、手势和身体姿势，支持丰富的交互体验。

• 轻量级架构：通过将复杂的非刚性变形“烘焙”到轻量级的MLP网络中，并结合混合形状补偿细节，TaoAvatar在保持高质量渲染的同时，显著提高了运行效率。

TaoAvatar应用

• 电子商务直播：TaoAvatar可以用于创建逼真的虚拟主播。

• 全息通信：在远程通信中，TaoAvatar能够生成逼真的虚拟形象。

• 虚拟娱乐：在游戏和虚拟现实应用中，TaoAvatar可以创建个性化的虚拟角色。

• 移动设备和AR设备：TaoAvatar支持在多种移动设备和AR设备上运行，如Android、MacBook和Apple Vision Pro等。

TaoAvatar使用方法

1. 数据准备：需要多视角RGB视频序列和对应的SMPLX注册信息。

2. 模板创建：通过将高斯点绑定到SMPLX++模板上，创建个性化的穿衣人类参数化模板。

3. 训练与优化：使用StyleUnet网络预训练，然后通过知识蒸馏技术将非刚性变形烘焙到轻量级MLP网络中。

4. 部署与运行：将优化后的模型部署到目标设备上，支持实时渲染和交互。

相关链接

项目：https://pixelai-team.github.io/TaoAvatar/

论文：https://arxiv.org/pdf/2503.17032

模型：https://huggingface.co/datasets/PixelAI-Team/TalkBody4D