字节跳动视频生成模型PixelDance和Seaweed在即梦AI正式上线

2024年11月15日，字节跳动的两款视频生成模型PixelDance和Seaweed在即梦AI平台正式上线。目前，网页版和手机端APP均已支持这两款模型的使用，这两款模型已面向公众免费开放使用，用户可以通过即梦ai的“视频生成”体验这个功能。

PixelDance模型支持文生视频和图生视频，能够生成长达10秒的高质量视频片段，其人物动作接近照片的真实度，超越了OpenAI的Sora模型在复杂动作表现上的限制。Seaweed模型则在图生视频场景体现出较好的首帧一致性，可以保持与用户输入图的一致性，同时具有高效的生成能力，仅需60秒就能完成5秒高质量视频的生成，远超国内行业标准的3-5分钟。

模型功能

• PixelDance功能：能够生成魔术般的特效，适合使用时序提示词、长镜头等技巧。

• Seaweed功能：在图生视频场景中体现出较好的首帧一致性，保持与用户输入图的一致性、色彩等细节还原。

• 镜头切换：PixelDance在生成10秒视频时，切换镜头3-5次的效果最佳，场景和角色能保持很好的一致性。

• 视觉效果：Seaweed模型实现大幅度运动画面流畅自然，具有真实感。

• 提示词描述：通过小幅度、渐进式的提示词描述，PixelDance能生成魔术般的特效。

应用场景

• 设计领域：两款模型可以应用于设计领域，帮助创作者实现更具创意的设计作品。

• 影视制作：在影视制作中，这些模型可以用于生成特效和复杂的场景。

• 动画创作：模型支持动画创作，能够生成流畅自然的动画效果。

• 专业创作：经过剪映、即梦AI等业务场景打磨，模型更好地服务于专业创作者和艺术家。

• 故事创作：即梦AI平台提供的功能有助于故事创作，提升创作效率。

这两款模型的发布，尤其是PixelDance，体现了字节跳动在视频生成技术上的成熟，特别是在语义理解、人物动作处理以及多镜头切换的一致性方面达到了业界先进水平。