LBM：高效的图像到图像转换方法，可实现物体重光照、物体移除、图像修复

LBM 是什么？

LBM 是一种基于潜在空间桥匹配（Latent Bridge Matching）的图像到图像转换方法。它能够在单次推理步骤中实现高质量的图像转换，达到与现有最先进方法相当的性能。该方法的核心思想是将源图像和目标图像编码到潜在空间，并在它们之间构建一个随机路径，通过随机微分方程估计漂移，从而实现从源分布到目标分布的转换。

LBM方法的核心功能

• 图像到图像转换：快速将源图像转换为目标图像，仅需单步推理。

• 物体重光照：根据背景光照调整前景物体的光照效果，增强图像真实感。

• 物体移除：移除图像中的物体及其阴影，保持背景自然。

• 图像修复：将退化图像转换为高质量图像，修复损坏或噪声。

• 深度和法线估计：将图像转换为深度图或法线图，适用于三维重建等任务。

• 可控光照和阴影生成：根据光照条件生成阴影或调整光照效果。

• 多任务通用性：适用于多种图像处理任务，表现出良好的适应性。

• 高效训练与推理：通过优化策略降低内存占用，提升训练和推理效率。

LBM方法特点

• 高效性：LBM 仅需单步推理即可完成图像转换，显著提高了实时应用的可行性。

• 灵活性：该方法适用于多种图像转换任务，包括物体移除、深度和表面法线估计、物体重光照以及阴影生成。

• 可扩展性：LBM 能够处理高分辨率图像，并在大规模数据集上表现出色。

LBM方法应用

• 物体移除：LBM 可以移除图像中的指定物体及其阴影，同时保持背景的自然性和一致性。

• 物体重光照：根据背景图像或光照条件，对前景物体进行重新光照，生成逼真的光照效果。

• 阴影生成：根据光照条件生成物体的阴影，增强图像的真实感。

• 图像修复：将退化图像的分布转换为清晰图像的分布。

GitHub仓库：https://github.com/gojasper/LBM

项目主页：https://gojasper.github.io/latent-bridge-matching/