ReCamMaster：一种从单个视频生成新视角和运动轨迹视频的框架

ReCamMaster 是什么？

ReCamMaster 是由浙江大学、快手科技、香港中文大学和华中科技大学的研究团队共同开发的一种从单个视频生成新视角和运动轨迹视频的框架。它能够通过重新定义相机轨迹，从单个视频中生成具有新视角和运动轨迹的视频内容。该技术的核心在于利用预训练的文本到视频生成模型，并通过一种精心设计的视频条件机制，实现高质量的视频重渲染。

ReCamMaster功能特征

• 相机轨迹控制：支持平移、旋转、缩放等多种复杂轨迹，用户可以自定义相机运动。

• 高质量视频生成：保持视频的动态同步性和多帧一致性，生成高质量的视频。

• 大规模数据集支持：使用 Unreal Engine 5 构建的多相机同步视频数据集，覆盖多样化场景和相机运动。

• 创新的视频条件机制：通过帧维度的条件拼接技术，显著提升生成视频的质量。

ReCamMaster应用场景

• 视频稳定化：将不稳定视频转换为平滑的视频，同时保留原始场景和动作。

• 视频超分辨率和外扩：提升视频分辨率和视野范围。

• 自动驾驶和机器人视觉：提供多视角数据增强，增强模型的泛化能力。

• 视频创作和后期制作：重新定义视频的相机轨迹，创造新的视觉效果。

ReCamMaster使用方法

1. 输入视频：提供单视角的输入视频。

2. 选择轨迹：选择或自定义相机轨迹（如平移、旋转、缩放等）。

3. 生成视频：系统会根据定义的轨迹生成新视角的视频，并通过邮件发送结果。

4. 批量处理：如需批量处理或对比测试，可联系项目团队（jianhongbai@zju.edu.cn）。

GitHub仓库：https://github.com/KwaiVGI/ReCamMaster

项目主页：https://jianhongbai.github.io/ReCamMaster/

论文：https://arxiv.org/abs/2503.11647