AnimeGamer:通过多模态大语言模型实现无限动漫生活模拟

AnimeGamer是什么?

AnimeGamer 是腾讯PCG ARC实验室和香港城市大学联合推出的多模态大语言模型项目。它通过语言指令生成动态动画片段,模拟动漫角色的互动与游戏世界。玩家可实时更新角色状态,体验多轮交互,感受沉浸式动漫生活。AnimeGamer只要应用在游戏、故事创作、教育等场景上。

AnimeGamer:通过多模态大语言模型实现无限动漫生活模拟.jpg

AnimeGamer功能特点

  • 动态动画生成:能够生成动态动画片段,展示角色的动作和行为。

  • 角色状态更新:系统会根据游戏状态更新角色的体力、社交和娱乐值。

  • 多轮交互:支持多轮游戏状态生成,玩家可以通过语言指令与游戏世界进行持续互动。

  • 上下文一致性:生成的游戏状态在视觉和语义上保持一致性,确保玩家的沉浸感。

AnimeGamer工作原理

  • 动画片段编码与解码:使用动画片段编码器将动画片段编码为动作感知的多模态表示,然后通过基于视频扩散模型的解码器将这些表示解码为高质量的视频片段。

  • 游戏状态预测:利用 MLLM 预测每个游戏状态的多模态表示,输入包括历史动画片段表示和当前指令。MLLM 输出包括动态动画片段和角色状态更新。

  • 解码器自适应训练:通过自适应训练阶段,优化解码器以生成高质量的视频片段,减少生成视频中的伪影。

AnimeGamer工作原理.webp

AnimeGamer应用场景

  • 动漫角色互动游戏:玩家可以扮演动漫电影中的角色,通过语言指令与游戏世界互动。

  • 故事创作与可视化:可用于创作和可视化故事,生成连贯的动画片段,支持多轮交互。

  • 教育与培训:在教育和培训场景中,可以生成动态的模拟环境,帮助学生更好地理解和参与学习内容。

  • 娱乐与互动体验:可用于开发新的娱乐和互动体验,如虚拟现实(VR)和增强现实(AR)应用。

AnimeGamer应用场景.webp

AnimeGamer使用教程

1. 下载AnimeGamer和Mistral-7B的检查点,并保存在./checkpoints文件夹中。

2. 设置推理环境,运行以下命令:

git clone https://github.com/TencentARC/AnimeGamer.git
cd AnimeGamer
conda create -n animegamer python==3.10 -y
conda activate animegamer
pip install -r requirements.txt

3. 生成动作感知的多模态表示并更新角色状态:

python inference_Decoder.py

4. 修改./game_demo中的指令来自定义游戏体验。

相关链接

项目主页:https://howe125.github.io/AnimeGamer.github.io

GitHub:https://github.com/TencentARC/AnimeGamer

模型:https://huggingface.co/TencentARC/AnimeGamer

论文:https://arxiv.org/abs/2504.01014

收藏
最新工具
Presenton
Presenton

一个可以本地运行的开源AI PPT生成器,使用OpenAI、Ge...

Eigent AI
Eigent AI

全球首个桌面端多智能体生产力平台,采用多智能体协作架构,通过拆分...

NB Map
NB Map

灰色执照做的免费在线三维地图生成工具。它能根据真实地形数据,做出...

AI Dungeon
AI Dungeon

一款靠AI运行的文字冒险游戏。玩家可以自己选或创建冒险场景,像幻...

PairDrop
PairDrop

一款开源的跨平台文件传输工具,能通过在其他设备打开它、配对设备或...

Oldswf
Oldswf

专门提供经典Flash小游戏的网站,收录了超过5万多不同类型的游...

AutoClip
AutoClip

一款AI智能视频切片工具,能自动下载B站视频、剪辑精彩片段并生成...

EdClub
EdClub

一个提供高品质课程的学习平台,EdClub主要提供打字学习、词汇...

Resource Boy
Resource Boy

一个提供高质量免费样机等设计资源的网站,有很多素材,像材质、笔刷...

AlternativeTo
AlternativeTo

一个众包软件推荐平台,可以帮用户找到更好的应用和服务。你可以搜各...