即梦AI - 一站式AI创作平台

Open-Sora 1.1发布:视频生成质量和持续时间显著提升

AOuPMh.jpg

今天,我们很高兴地推出 Open-Sora-Plan v1.1.0,它显着提高了视频生成质量和持续时间以及文本控制功能。与之前的 Open-Sora-Plan v1.1.0 版本相比,改进了:

更好的压缩视觉表示:我们优化了 CausalVideoVAE 架构,该架构现在具有更强的性能和更高的推理效率。

生成质量更高、时长更长:我们使用了更高质量的视觉数据和标题以及ShareGPT4Video对长视频进行注释的能力,我们可以生成更高质量和更长的视频。

除了性能改进外,Open-Sora-Plan v1.1.0 还保持了 v1.0.0 的极简设计和数据效率。值得注意的是,我们发现 v1.1.0 表现出与 Sora 基础模型相似的性能,这表明我们版本的演变与 Sora 演示的缩放定律一致。

我们开源了 Open-Sora-Plan,以促进社区视频生成的未来发展。代码、数据、模型将公开提供。

演示:Hugging Face 演示在这里。

代码:所有训练脚本和示例脚本。

模型:此处为 Diffusion Model 和 CasualVideoVAE。

数据:此处为原始视频和字幕。

GitHub:https://github.com/PKU-YuanGroup/Open-Sora-Plan/tree/main

在线体验:https://huggingface.co/spaces/LanguageBind/Open-Sora-Plan-v1.1.0

Open-Sora-Plan v1.1.0基于 transformer 的文本到视频扩散系统,基于 T5 的文本嵌入进行训练。


收藏
最新工具
Bloomtype
Bloomtype

一款Markdown公众号排版工具,将Markdown写作与公众...

纯纯写作
纯纯写作

主打“绝不丢失”的纯文本编辑器,支持云同步、自动备份、历史记录,...

UpDream预演台
UpDream预演台

B站自研AI视频3D预演工具,上传场景图就能生成3D白模,控制运...

红狐Hub
红狐Hub

红狐Hub是一个面向开发者的新媒体数据平台,提供抖音、小红书、公...

AIpai
AIpai

主打AI Agent对话式创作的视频生成平台,从剧本、分镜到成片...

Lovart国内版
Lovart国内版

支持自然语言生成品牌VI、海报、视频和3D模型。集成GPT-4o...

海报设计室
海报设计室

一款智能海报设计工具,提供海量模板、AI 海报生成、在线编辑、智...

标小信
标小信

专业的AI标书SaaS平台,上传招标文件自动解析评分标准与废标项...

切问学术AI
切问学术AI

复旦NLP实验室推出的AI学术AI,支持自然语言文献检索、AI全...

全民写小说
全民写小说

一款手机端写作App,不用电脑就能写小说。支持大纲人设记录、灵感...