即梦AI - 一站式AI创作平台

Open-Sora 1.1发布:视频生成质量和持续时间显著提升

AOuPMh.jpg

今天,我们很高兴地推出 Open-Sora-Plan v1.1.0,它显着提高了视频生成质量和持续时间以及文本控制功能。与之前的 Open-Sora-Plan v1.1.0 版本相比,改进了:

更好的压缩视觉表示:我们优化了 CausalVideoVAE 架构,该架构现在具有更强的性能和更高的推理效率。

生成质量更高、时长更长:我们使用了更高质量的视觉数据和标题以及ShareGPT4Video对长视频进行注释的能力,我们可以生成更高质量和更长的视频。

除了性能改进外,Open-Sora-Plan v1.1.0 还保持了 v1.0.0 的极简设计和数据效率。值得注意的是,我们发现 v1.1.0 表现出与 Sora 基础模型相似的性能,这表明我们版本的演变与 Sora 演示的缩放定律一致。

我们开源了 Open-Sora-Plan,以促进社区视频生成的未来发展。代码、数据、模型将公开提供。

演示:Hugging Face 演示在这里。

代码:所有训练脚本和示例脚本。

模型:此处为 Diffusion Model 和 CasualVideoVAE。

数据:此处为原始视频和字幕。

GitHub:https://github.com/PKU-YuanGroup/Open-Sora-Plan/tree/main

在线体验:https://huggingface.co/spaces/LanguageBind/Open-Sora-Plan-v1.1.0

Open-Sora-Plan v1.1.0基于 transformer 的文本到视频扩散系统,基于 T5 的文本嵌入进行训练。


收藏
最新工具
Quady3D
Quady3D

在线AI 3D模型生成平台,支持图生 3D、文生 3D、草图生 ...

Runner AI
Runner AI

AI 原生电商建站与自动运营平台,用一句话几分钟生成完整独立站,...

Pixo
Pixo

一站式AI视频创作平台,提供AI对话,编写剧本、创建分镜、 生成...

Coursera
Coursera

全球在线学习平台,联合375+顶尖大学与企业提供上万门课程、专业...

DeepLearning AI
DeepLearning AI

吴恩达创办的 AI 学习平台,提供 150+ 门课程与专业证书,...

排版小星
排版小星

免费公众号与小红书图文AI 排版工具。粘贴文字或导入链接、文档,...

Liveify
Liveify

免费在线实况图转换器,浏览器直接预览视频、GIF,导出无水印 G...

观影GYING
观影GYING

老牌影视资源聚合站,聚合电影、剧集、综艺、动漫资源,提供在线播放...

百智办公
百智办公

长亭科技推出的开源AI办公工作台,可以用自然语言让AI完成办公、...

即梦AI短剧工作室
即梦AI短剧工作室

字节跳动最新推出的一站式AI短剧创作平台,集成DreamScri...