TaoAvatar:阿里的一个高保真、轻量级的全身交互式数字人技术项目

TaoAvatar是什么?

TaoAvatar是一种高保真、轻量级的全身交互式数字人技术,基于3D高斯点绘制(3DGS)技术开发。它通过创建个性化的穿衣人类参数化模板,并将高斯点绑定到模板上以表示外观,从而实现逼真的全身数字人形象生成。TaoAvatar的核心优势在于能够在移动设备和AR设备上实时运行,同时保持高分辨率渲染和低存储需求。

TaoAvatar:阿里的一个高保真、轻量级的全身交互式虚拟形象技术项目.webp

TaoAvatar功能

  • 高保真渲染:TaoAvatar能够生成逼真的3D全身数字人形象,支持高分辨率渲染,同时保持低存储需求。

  • 实时交互:该技术能够在各种移动和AR设备上实时运行,支持90 FPS的高帧率渲染,适用于如Apple Vision Pro等高清立体设备。

  • 多信号驱动:TaoAvatar可以通过多种信号驱动,包括面部表情、手势和身体姿势,支持丰富的交互体验。

  • 轻量级架构:通过将复杂的非刚性变形“烘焙”到轻量级的MLP网络中,并结合混合形状补偿细节,TaoAvatar在保持高质量渲染的同时,显著提高了运行效率。

TaoAvatar应用

  • 电子商务直播:TaoAvatar可以用于创建逼真的虚拟主播。

  • 全息通信:在远程通信中,TaoAvatar能够生成逼真的虚拟形象。

  • 虚拟娱乐:在游戏和虚拟现实应用中,TaoAvatar可以创建个性化的虚拟角色。

  • 移动设备和AR设备:TaoAvatar支持在多种移动设备和AR设备上运行,如Android、MacBook和Apple Vision Pro等。

TaoAvatar:阿里的一个高保真、轻量级的全身交互式虚拟形象技术项目.webp

TaoAvatar使用方法

  1. 数据准备:需要多视角RGB视频序列和对应的SMPLX注册信息。

  2. 模板创建:通过将高斯点绑定到SMPLX++模板上,创建个性化的穿衣人类参数化模板。

  3. 训练与优化:使用StyleUnet网络预训练,然后通过知识蒸馏技术将非刚性变形烘焙到轻量级MLP网络中。

  4. 部署与运行:将优化后的模型部署到目标设备上,支持实时渲染和交互。

相关链接

项目:https://pixelai-team.github.io/TaoAvatar/

论文:https://arxiv.org/pdf/2503.17032

模型:https://huggingface.co/datasets/PixelAI-Team/TalkBody4D

收藏
#ai数字人
最新工具
Atypica AI
Atypica AI

特赞科技推出的商业研究AI多智能体,只要是通过模拟真实消费者行为...

AutoCoder
AutoCoder

AIGCode推出的自称是全球首个全栈AI编程工具,它可以过自然...

Wayback Machine
Wayback Machine

一个免费的网页历史存档和查询工具,可以能保存不同时间点的网页内容...

RunningHub
RunningHub

一个基于云端ComfyUI的高可用性平台,提供在线开发工作流、发...

绘蛙AI高清修复
绘蛙AI高清修复

智能修复图片模糊问题,一键拯救渣画质,如何把图片高清修复? 去看...

Unlucid AI
Unlucid AI

一个免费无审查的 AI 工具,提供包括视频博主视频制作、图像生成...

SuperClaude
SuperClaude

SuperClaude 是一个为 Claude Code 量身打...

 WisFile
WisFile

电脑本地运行的免费 AI 工具,专门解决文件命名乱、归类杂、手动...

GreenVideo
GreenVideo

一个无次数限制的视频下载平台,免费、稳定、速度快,支持全球100...

证件星
证件星

一个在线 AI 智能证件照制作工具,小白也能轻松上手,十秒就能做...