ViViD：使用扩散模型的虚拟试穿视频

ViViD，阿里巴巴开发的视频虚拟试穿技术，可以随意替换视频中人物的衣服，ViViD能够生成自然、真实的虚拟试穿视频，可以将服装转移到视频中的人物身上，同时保持视频其余部分不变。

ViViD演示网站：https://becauseimbatman0.github.io/ViViD

ViViD论文地址：https://arxiv.org/abs/2405.11794

随着电商的快速发展，消费者通过在线淘宝商城京东商城等电商平台可以方便地接触到各种类型的服装。然而，单纯依赖电商网站上的服装图片，消费者很难想象服装穿在自己身上的效果，虽然通过图片换装的技术比较成熟了，但是视频换装特别在与身体动作的交互方面技术还是很少见到。

虚拟试穿视频通过将服装转移到目标人物上。将基于图像的试穿技术以逐帧方式直接应用于视频领域会导致时间不一致的结果，而之前基于视频的试穿解决方案只能产生低视觉质量和模糊的结果。

中国科学技术大学和阿里巴巴集团的研究团队联合开发的ViViD视频虚拟试穿技术的目的就是通过合成视频来解决这一问题，让消费者看到衣物穿在自己身上的真实效果。这个视频框架利用扩散模型（Diffusion Models）来实现高质量和一致性的试穿视频。

具体来说，我们设计了服装编码器来提取细粒度的服装语义特征，引导模型捕获服装细节并通过提出的注意特征融合机制将它们注入到目标视频中。为了确保时空一致性，我们引入了一个轻量级的姿势编码器来编码姿势信号，使模型能够学习服装和人体姿势之间的相互作用，并将分层时间模块插入到文本到图像的稳定扩散模型中，以获得更加连贯和逼真的效果视频合成。

此外，我们收集了一个新的数据集，这是迄今为止视频虚拟试穿任务中最大、服装类型最多样化、分辨率最高的数据集。大量的实验表明，我们的方法能够产生令人满意的视频试戴结果。数据集、代码和权重将公开。