UniCombine框架：支持文本提示、空间映射和主体图像的任意组合生成

UniCombine是什么？

UniCombine 是由复旦大学、腾讯优图实验室等机构联合推出的多条件可控生成框架，基于扩散变压器（Diffusion Transformer，DiT）架构，能够处理文本提示、空间映射、主体图像等任意控制条件的组合生成任务。

UniCombine核心功能

UniCombine 能够处理任意条件组合，不限于文本提示（text prompts）、空间图（spatial maps）和主体图像（subject images），并确保生成结果与所有输入条件保持一致性。比如，它可以完成以下任务：

• 主体插入（Subject-Insertion）：将指定主体插入到背景图像中。

• 主体空间对齐（Subject-Spatial）：根据空间图对主体进行布局调整。

• 多空间条件生成（Multi-Spatial）：结合多种空间条件生成图像。

UniCombine技术架构

UniCombine 的架构基于 MMDiT（Masked Multi-Modal Diffusion Transformer），并引入了以下机制：

• 条件 MMDiT 注意力机制（Conditional MMDiT Attention）：用于处理多条件输入序列，能够有效融合不同条件的特征。

• LoRA 切换模块（LoRA Switching Module）：管理多个条件分支，根据条件类型动态激活预训练的条件 LoRA 模块。

• 可训练的去噪 LoRA 模块（Denoising-LoRA Module）：在训练版本中，通过训练该模块进一步提升性能。

UniCombine特点与优势

• 通用性：能够处理任意条件组合，适用于多种生成任务。

• 灵活性：提供无训练（training-free）和基于训练（training-based）两种版本。

• 高性能：在多条件生成任务中表现出色，达到了最先进的性能。

UniCombine安装与使用

UniCombine 的代码已开源，安装步骤如下：

conda create -n unicombine python=3.12
conda activate unicombine
pip install -r requirements.txt

此外，由于 diffusers 库的限制，需要手动更新代码。

UniCombine应用场景

• 商品展示与文案生成：根据文本、主体图像生成多风格商品图及匹配文案。

• 个性化推荐：结合用户偏好生成定制化商品展示页面。

• 虚拟试穿：结合用户虚拟形象生成试穿效果，提升购物体验。

• 广告与种草内容：生成图文、视频脚本等，提升内容丰富度。

• 多模态搜索：结合商品特征优化搜索结果精准度。

GitHub 仓库：https://github.com/Xuan-World/UniCombinearXiv 

论文：https://arxiv.org/html/2503.09277v1