CADCrafter：单张图片到参数化CAD模型生成框架

CADCrafter是什么？

CADCrafter 是一种由魔芯科技、新加坡南洋理工大学等机构研究人员提出的图像到参数化 CAD 模型生成框架。它能够直接从单张图片生成高质量、可编辑的 CAD 模型，这些模型可以通过 CAD 编译器编译为可用于生产的 3D 文件，解决了从图像到可编辑CAD模型的转换问题。

CADCrafter核心特点

• 基于几何特征的生成：CADCrafter 使用几何编码器来准确捕捉图像中的几何特征，例如深度和法线图。这些特征不仅增强了模型的几何表示能力，还使得模型能够更好地从合成数据泛化到真实世界图像。

• 直接偏好优化（DPO）：由于将 CAD 参数序列编译为显式 CAD 模型是非可微分过程，CADCrafter 通过 DPO 方法利用 CAD 编译器的反馈来优化模型，确保生成的 CAD 指令具有更高的可编译性和几何精度。

• 多视图到单视图的知识蒸馏：CADCrafter 通过将多视图几何编码器的知识蒸馏到单视图编码器中，提高了单视图输入的准确性和鲁棒性。

• 数据集贡献：研究团队还收集了一个名为 RealCAD 的真实世界数据集，包含多视图图像和对应的 CAD 指令序列，用于验证模型的性能。

CADCrafter研究方法

CADCrafter只要通过下面几个步骤来实现从图像到CAD模型的转换：

• CAD命令序列编码：将CAD命令序列编码为离散和连续的参数序列，并通过嵌入空间进行处理。

• 几何条件编码器：提取输入图像的深度和法线图，利用这些几何特征来增强模型对几何结构的理解，并减少合成数据和真实图像之间的域差距。

• 去噪CAD潜在向量：使用基于扩散模型的架构来去噪潜在CAD代码，该架构通过迭代学习恢复原始潜在向量。

• 多视图到单视图的知识蒸馏：通过将多视图几何编码器的知识蒸馏到单视图几何编码器中，提高单视图输入的准确性和鲁棒性。

• 直接偏好优化（DPO）：通过CAD编译器的反馈来优化模型，确保生成的CAD指令具有更高的可编译性和几何精度。

实验

• 数据集：使用DeepCAD数据集进行训练，并收集了一个名为RealCAD的真实世界数据集进行测试。

• 评估指标：采用命令准确性（Acccmd）、参数准确性（Accpara）、中位数Chamfer距离（Med CD）和无效率（IR）来评估模型性能。

• 结果：

• 在DeepCAD数据集上，CADCrafter在多视图和单视图任务中均表现出色，显著降低了无效率。

• 在RealCAD数据集上，尽管模型仅在合成数据上进行训练，但其在真实世界数据上的泛化能力表现良好，保持了高准确性和低无效率。

• 与现有的图像到3D模型生成方法（如One-2-3-45、Wonder3D和TripoSR）相比，CADCrafter在几何精度上表现更好。

CADCrafter应用场景

• 工业设计：快速生成可编辑的 CAD 模型，加速原型设计和零件重建。

• 日常物体建模：通过拍摄日常生活中的物体，直接生成其设计制造时可用的工程文件。

CADCrafter论文：https://arxiv.org/pdf/2504.04753