[论文解读] Sketch2CAD: Sequential CAD Modeling by Sketching in Context

Changjian Li, Hao Pan+2 more|arXiv (Cornell University)|Sep 10, 2020

3D Shape Modeling and Analysis参考文献 38被引用 4

一句话总结

Sketch2CAD 提出了一种基于深度学习的系统，通过在不断增长的局部 CAD 模型上下文中解释每条草图线条，将连续的手绘草图转换为精确且可编辑的 CAD 模型。该系统采用上下文感知神经网络，将草图线条映射为参数化 CAD 操作（例如：拉伸、倒角、添加/减去），在操作识别和参数拟合方面实现了高精度，使新手用户无需具备 CAD 专业知识即可快速创建多样且可制造的 3D 模型。

ABSTRACT

We present a sketch-based CAD modeling system, where users create objects incrementally by sketching the desired shape edits, which our system automatically translates to CAD operations. Our approach is motivated by the close similarities between the steps industrial designers follow to draw 3D shapes, and the operations CAD modeling systems offer to create similar shapes. To overcome the strong ambiguity with parsing 2D sketches, we observe that in a sketching sequence, each step makes sense and can be interpreted in the \emph{context} of what has been drawn before. In our system, this context corresponds to a partial CAD model, inferred in the previous steps, which we feed along with the input sketch to a deep neural network in charge of interpreting how the model should be modified by that sketch. Our deep network architecture then recognizes the intended CAD operation and segments the sketch accordingly, such that a subsequent optimization estimates the parameters of the operation that best fit the segmented sketch strokes. Since there exists no datasets of paired sketching and CAD modeling sequences, we train our system by generating synthetic sequences of CAD operations that we render as line drawings. We present a proof of concept realization of our algorithm supporting four frequently used CAD operations. Using our system, participants are able to quickly model a large and diverse set of objects, demonstrating Sketch2CAD to be an alternate way of interacting with current CAD modeling systems.

研究动机与目标

• 通过将工业设计草图工作流程与标准 CAD 操作对齐，弥合草图构思与精确 CAD 建模之间的差距。
• 通过利用先前建模步骤的上下文理解，克服 2D 草图解释中的歧义。
• 通过直观的草图方式，使新手用户能够绕过复杂的 CAD 软件，创建准确且可编辑的 CAD 模型。
• 开发一个支持常见 CAD 操作（例如：拉伸、倒角、添加/减去、扫掠）的系统，实现高精度的操作识别与参数拟合。
• 生成一个包含配对草图序列与 CAD 操作的合成数据集，用于训练上下文感知神经网络。

提出的方法

• 该系统使用一个深度神经网络，将当前的局部 CAD 模型和新绘制的草图线条作为输入，以解释预期的 CAD 操作。
• 每种 CAD 操作均被参数化，以映射到特定的草图线条（例如：两条平行曲线对应倒角操作，闭合回路对应减法操作）。
• 网络执行草图线条的实例分割，以识别对应于操作参数的组件。
• 后续的优化步骤估算最符合分割线条的 CAD 操作的精确几何参数。
• 该系统在通过随机应用 CAD 操作序列并将其结果渲染为线条图而生成的合成数据集上进行训练。
• 该架构包含一个基于 U-Net 的分割头，输出多个特征图（线条、基底、轮廓、偏移、表面），以指导操作识别与参数拟合。

实验结果

研究问题

• RQ1 当基于当前局部 CAD 模型进行条件约束时，深度神经网络能否准确地将手绘草图线条解释为特定的 CAD 操作？
• RQ2 与孤立线条解释相比，利用先前草图步骤的上下文建模在多大程度上提升了 CAD 操作识别的准确性？
• RQ3 在合成数据上进行训练的系统能否泛化到新手用户的真实草图，以生成准确且可编辑的 CAD 模型？
• RQ4 该系统在识别和参数化复杂操作（如倒角、添加/减去部件、扫掠）方面表现如何，且在多种物体类型上是否具有良好的泛化能力？
• RQ5 该系统能否支持交互式、顺序化的建模，以模拟工业设计师的自然工作流程？

主要发现

• 系统在操作识别方面实现了高精度，在最置信预测级别（level 1）下，拉伸操作的 top-1 准确率为 98.12%，倒角操作也为 98.12%。
• 对于复杂操作如添加/减去和扫掠，系统仍保持强劲性能，其 top-1 准确率分别达到 93.54% 和 95.57%（level 1）。
• 该网络对草图扰动具有良好的泛化能力，在存在噪声或不精确线条的情况下，性能依然保持高水平，如在三种不同噪声水平下的定性结果所示。
• 用户研究表明，新手用户仅通过草图即可高效地建模出多种复杂且多样的物体，生成精确且可编辑的 CAD 输出。
• 该系统支持一种新型工作流程，即 CAD 模型可被程序化编辑后重新渲染为草图，从而支持双向设计迭代。
• 合成训练数据生成管道成功生成了多样化且几何上有效的草图-CAD 配对数据，使端到端训练无需真实配对数据即可实现。