AnimeGamer:通过多模态大语言模型实现无限动漫生活模拟

AnimeGamer是什么?

AnimeGamer 是腾讯PCG ARC实验室和香港城市大学联合推出的多模态大语言模型项目。它通过语言指令生成动态动画片段,模拟动漫角色的互动与游戏世界。玩家可实时更新角色状态,体验多轮交互,感受沉浸式动漫生活。AnimeGamer只要应用在游戏、故事创作、教育等场景上。

AnimeGamer:通过多模态大语言模型实现无限动漫生活模拟.jpg

AnimeGamer功能特点

  • 动态动画生成:能够生成动态动画片段,展示角色的动作和行为。

  • 角色状态更新:系统会根据游戏状态更新角色的体力、社交和娱乐值。

  • 多轮交互:支持多轮游戏状态生成,玩家可以通过语言指令与游戏世界进行持续互动。

  • 上下文一致性:生成的游戏状态在视觉和语义上保持一致性,确保玩家的沉浸感。

AnimeGamer工作原理

  • 动画片段编码与解码:使用动画片段编码器将动画片段编码为动作感知的多模态表示,然后通过基于视频扩散模型的解码器将这些表示解码为高质量的视频片段。

  • 游戏状态预测:利用 MLLM 预测每个游戏状态的多模态表示,输入包括历史动画片段表示和当前指令。MLLM 输出包括动态动画片段和角色状态更新。

  • 解码器自适应训练:通过自适应训练阶段,优化解码器以生成高质量的视频片段,减少生成视频中的伪影。

AnimeGamer工作原理.webp

AnimeGamer应用场景

  • 动漫角色互动游戏:玩家可以扮演动漫电影中的角色,通过语言指令与游戏世界互动。

  • 故事创作与可视化:可用于创作和可视化故事,生成连贯的动画片段,支持多轮交互。

  • 教育与培训:在教育和培训场景中,可以生成动态的模拟环境,帮助学生更好地理解和参与学习内容。

  • 娱乐与互动体验:可用于开发新的娱乐和互动体验,如虚拟现实(VR)和增强现实(AR)应用。

AnimeGamer应用场景.webp

AnimeGamer使用教程

1. 下载AnimeGamer和Mistral-7B的检查点,并保存在./checkpoints文件夹中。

2. 设置推理环境,运行以下命令:

git clone https://github.com/TencentARC/AnimeGamer.git
cd AnimeGamer
conda create -n animegamer python==3.10 -y
conda activate animegamer
pip install -r requirements.txt

3. 生成动作感知的多模态表示并更新角色状态:

python inference_Decoder.py

4. 修改./game_demo中的指令来自定义游戏体验。

相关链接

项目主页:https://howe125.github.io/AnimeGamer.github.io

GitHub:https://github.com/TencentARC/AnimeGamer

模型:https://huggingface.co/TencentARC/AnimeGamer

论文:https://arxiv.org/abs/2504.01014

收藏
最新工具
Atypica AI
Atypica AI

特赞科技推出的商业研究AI多智能体,只要是通过模拟真实消费者行为...

AutoCoder
AutoCoder

AIGCode推出的自称是全球首个全栈AI编程工具,它可以过自然...

Wayback Machine
Wayback Machine

一个免费的网页历史存档和查询工具,可以能保存不同时间点的网页内容...

RunningHub
RunningHub

一个基于云端ComfyUI的高可用性平台,提供在线开发工作流、发...

绘蛙AI高清修复
绘蛙AI高清修复

智能修复图片模糊问题,一键拯救渣画质,如何把图片高清修复? 去看...

Unlucid AI
Unlucid AI

一个免费无审查的 AI 工具,提供包括视频博主视频制作、图像生成...

SuperClaude
SuperClaude

SuperClaude 是一个为 Claude Code 量身打...

 WisFile
WisFile

电脑本地运行的免费 AI 工具,专门解决文件命名乱、归类杂、手动...

GreenVideo
GreenVideo

一个无次数限制的视频下载平台,免费、稳定、速度快,支持全球100...

证件星
证件星

一个在线 AI 智能证件照制作工具,小白也能轻松上手,十秒就能做...