TaoAvatar:阿里的一个高保真、轻量级的全身交互式数字人技术项目

TaoAvatar是什么?

TaoAvatar是一种高保真、轻量级的全身交互式数字人技术,基于3D高斯点绘制(3DGS)技术开发。它通过创建个性化的穿衣人类参数化模板,并将高斯点绑定到模板上以表示外观,从而实现逼真的全身数字人形象生成。TaoAvatar的核心优势在于能够在移动设备和AR设备上实时运行,同时保持高分辨率渲染和低存储需求。

TaoAvatar:阿里的一个高保真、轻量级的全身交互式虚拟形象技术项目.webp

TaoAvatar功能

  • 高保真渲染:TaoAvatar能够生成逼真的3D全身数字人形象,支持高分辨率渲染,同时保持低存储需求。

  • 实时交互:该技术能够在各种移动和AR设备上实时运行,支持90 FPS的高帧率渲染,适用于如Apple Vision Pro等高清立体设备。

  • 多信号驱动:TaoAvatar可以通过多种信号驱动,包括面部表情、手势和身体姿势,支持丰富的交互体验。

  • 轻量级架构:通过将复杂的非刚性变形“烘焙”到轻量级的MLP网络中,并结合混合形状补偿细节,TaoAvatar在保持高质量渲染的同时,显著提高了运行效率。

TaoAvatar应用

  • 电子商务直播:TaoAvatar可以用于创建逼真的虚拟主播。

  • 全息通信:在远程通信中,TaoAvatar能够生成逼真的虚拟形象。

  • 虚拟娱乐:在游戏和虚拟现实应用中,TaoAvatar可以创建个性化的虚拟角色。

  • 移动设备和AR设备:TaoAvatar支持在多种移动设备和AR设备上运行,如Android、MacBook和Apple Vision Pro等。

TaoAvatar:阿里的一个高保真、轻量级的全身交互式虚拟形象技术项目.webp

TaoAvatar使用方法

  1. 数据准备:需要多视角RGB视频序列和对应的SMPLX注册信息。

  2. 模板创建:通过将高斯点绑定到SMPLX++模板上,创建个性化的穿衣人类参数化模板。

  3. 训练与优化:使用StyleUnet网络预训练,然后通过知识蒸馏技术将非刚性变形烘焙到轻量级MLP网络中。

  4. 部署与运行:将优化后的模型部署到目标设备上,支持实时渲染和交互。

相关链接

项目:https://pixelai-team.github.io/TaoAvatar/

论文:https://arxiv.org/pdf/2503.17032

模型:https://huggingface.co/datasets/PixelAI-Team/TalkBody4D

收藏
#ai数字人
最新工具
Oldswf
Oldswf

专门提供经典Flash小游戏的网站,收录了超过5万多不同类型的游...

AutoClip
AutoClip

一款AI智能视频切片工具,能自动下载B站视频、剪辑精彩片段并生成...

EdClub
EdClub

一个提供高品质课程的学习平台,EdClub主要提供打字学习、词汇...

Resource Boy
Resource Boy

一个提供高质量免费样机等设计资源的网站,有很多素材,像材质、笔刷...

AlternativeTo
AlternativeTo

一个众包软件推荐平台,可以帮用户找到更好的应用和服务。你可以搜各...

DaYin.page
DaYin.page

一个强大、免费、易用的在线习题打印生成器网站,可以一键生成数学题...

Mobile Phone Museum
Mobile Phone Museum

一个非营利组织的手机博物馆,目的是存档和保存移动技术,并扩大对移...

BlackACE黑桃A
BlackACE黑桃A

一款可以将网站转换为安卓APP的工具,它可以够帮助个人开发者、创...

Aluo AI
Aluo AI

电商AI图片编辑平台,30 秒就能做出专业的商品图片,它能自动扣...

CrazyGames
CrazyGames

全球有名的免费在线小游戏平台,涵盖动作、冒险、射击、益智、体育、...