ReCamMaster:一种从单个视频生成新视角和运动轨迹视频的框架

ReCamMaster 是什么?

ReCamMaster 是由浙江大学、快手科技、香港中文大学和华中科技大学的研究团队共同开发的一种从单个视频生成新视角和运动轨迹视频的框架。它能够通过重新定义相机轨迹,从单个视频中生成具有新视角和运动轨迹的视频内容。该技术的核心在于利用预训练的文本到视频生成模型,并通过一种精心设计的视频条件机制,实现高质量的视频重渲染。

ReCamMaster:一种从单个视频生成新视角和运动轨迹视频的框架.webp

ReCamMaster功能特征

  • 相机轨迹控制:支持平移、旋转、缩放等多种复杂轨迹,用户可以自定义相机运动。

  • 高质量视频生成:保持视频的动态同步性和多帧一致性,生成高质量的视频。

  • 大规模数据集支持:使用 Unreal Engine 5 构建的多相机同步视频数据集,覆盖多样化场景和相机运动。

  • 创新的视频条件机制:通过帧维度的条件拼接技术,显著提升生成视频的质量。

ReCamMaster:一种从单个视频生成新视角和运动轨迹视频的框架.webp

ReCamMaster应用场景

  • 视频稳定化:将不稳定视频转换为平滑的视频,同时保留原始场景和动作。

  • 视频超分辨率和外扩:提升视频分辨率和视野范围。

  • 自动驾驶和机器人视觉:提供多视角数据增强,增强模型的泛化能力。

  • 视频创作和后期制作:重新定义视频的相机轨迹,创造新的视觉效果。

ReCamMaster使用方法

  1. 输入视频:提供单视角的输入视频。

  2. 选择轨迹:选择或自定义相机轨迹(如平移、旋转、缩放等)。

  3. 生成视频:系统会根据定义的轨迹生成新视角的视频,并通过邮件发送结果。

  4. 批量处理:如需批量处理或对比测试,可联系项目团队(jianhongbai@zju.edu.cn)。

GitHub仓库:https://github.com/KwaiVGI/ReCamMaster

项目主页:https://jianhongbai.github.io/ReCamMaster/

论文:https://arxiv.org/abs/2503.11647

收藏

相关文章

最新工具
SoundWise AI
SoundWise AI

一个完全免费的AI音视频转录工具,能在浏览器里直接把音频和视频转...

Armor Games
Armor Games

全球知名免费在线游戏平台与独立游戏发行商​,ArmorGames...

Social Auto Upload
Social Auto Upload

社交媒体视频一键多平台发布工具​,一站式解决抖音、小红书、视频号...

在线DOS游戏
在线DOS游戏

一个能在浏览器直接玩DOS游戏的在线模拟器,适合怀旧玩家和游戏开...

HDLOGO
HDLOGO

HDLOGO 是一个专门整理矢量标志和图标的网站,提供各类品牌和...

Funes.world
Funes.world

一个在线博物馆项目,通过众包方式把世界各地的建筑做成3D模型,F...

PrettyScale
PrettyScale

一个在线面部分析及颜值打分网站,用户通过上传照片或直接用摄像头参...

圆周旅迹
圆周旅迹

一款旅游出行AI智能规划APP,它可以直接从小红书这些平台导入别...

Wonderplan AI
Wonderplan AI

一个免费的AI旅游规划工具,能根据你的喜好、需求生成专属行程,支...

智写流程
智写流程

一个能自动记录网页操作并生成操作指南的工具。它能捕捉鼠标点击、键...