[论文解读] SketchSampler: Sketch-based 3D Reconstruction via View-dependent Depth Sampling

Chenjian Gao, Qian Yu+3 more|arXiv (Cornell University)|Aug 14, 2022

Advanced Vision and Imaging被引用 4

一句话总结

SketchSampler 提出了一种新颖的基于草图的 3D 重建方法，通过利用密度图代理进行视图相关的深度采样，弥合了稀疏草图与密集 3D 点云之间的领域差距。该方法首先将草图转换为信息丰富的 2D 表示，然后通过两阶段概率采样过程——先从学习到的密度图中恢复 2D 坐标，再沿射线预测深度值——在保真度和细节保留方面实现了最先进性能，在定量和定性评估中均优于现有基线方法。

ABSTRACT

Reconstructing a 3D shape based on a single sketch image is challenging due to the large domain gap between a sparse, irregular sketch and a regular, dense 3D shape. Existing works try to employ the global feature extracted from sketch to directly predict the 3D coordinates, but they usually suffer from losing fine details that are not faithful to the input sketch. Through analyzing the 3D-to-2D projection process, we notice that the density map that characterizes the distribution of 2D point clouds (i.e., the probability of points projected at each location of the projection plane) can be used as a proxy to facilitate the reconstruction process. To this end, we first translate a sketch via an image translation network to a more informative 2D representation that can be used to generate a density map. Next, a 3D point cloud is reconstructed via a two-stage probabilistic sampling process: first recovering the 2D points (i.e., the x and y coordinates) by sampling the density map; and then predicting the depth (i.e., the z coordinate) by sampling the depth values at the ray determined by each 2D point. Extensive experiments are conducted, and both quantitative and qualitative results show that our proposed approach significantly outperforms other baseline methods.

研究动机与目标

• 解决单视角 3D 重建中稀疏、不规则草图与密集、规则 3D 形状之间的巨大领域差距。
• 克服基于全局特征的方法因信息丢失而无法保留细粒度草图细节的局限性。
• 利用草图与 2D 点云密度图之间的空间对应关系，提升重建保真度。
• 开发一种两阶段采样框架，通过概率建模将 2D 坐标恢复与深度预测解耦。
• 通过引入草图转换模块以补全缺失的草图信息，同时保留空间结构，提升泛化能力与鲁棒性。

提出的方法

• 使用基于 CNN 的编码器-解码器网络（Sketch Translator）将输入草图转换为更具信息量的 2D 表示，增强特征完整性。
• 从转换后的草图中预测 2D 密度图，其中每个像素值表示 3D 点投影到图像平面上该位置的可能性。
• 从预测的密度图中进行 2D 坐标 (x, y) 的概率采样，生成 2D 点云代理。
• 对于每个采样的 (x, y) 位置，通过沿对应射线采样，使用条件分布 P(Z|x, y, I) 预测深度 (z) 值，以建模遮挡和深度顺序。
• 将完整的 3D 点云生成建模为两阶段采样过程：首先从密度图中采样 P(X, Y|I)，然后对每个 (x, y) 预测 P(Z|x, y, I) 以完成深度预测。
• 在合成数据集（Synthetic-LineDrawing）上端到端训练模型，监督目标为点云重建，优化 Chamfer Distance、Earth Mover’s Distance 和 FPD。

实验结果

研究问题

• RQ1 能否从草图中提取的密度图作为有效代理，以减少基于草图的 3D 重建中的领域差距？
• RQ2 两阶段采样策略——先从密度图中恢复 2D 坐标，再预测深度——是否相比直接预测 3D 坐标能提升重建保真度？
• RQ3 草图转换模块在补全缺失结构细节的同时，对输入草图的空间对齐性保留效果如何？
• RQ4 密度图引导的采样在建模空间非均匀的 3D 点分布方面，是否显著优于均匀采样？
• RQ5 所提方法在未见物体类别及非刚性形状上是否具备泛化能力，且超出训练分布？

主要发现

• SketchSampler 在 Synthetic-LineDrawing 数据集上达到最先进性能，Chamfer Distance 为 0.982 × 10⁻³，EMD 为 4.534 × 10⁻²，FPD 为 0.580 × 10，Vox-IOU 为 0.578。
• 消融实验表明，草图转换器显著提升性能：移除解码器后 CD 上升至 1.193 × 10⁻³，证明增强特征表示的重要性。
• 密度图引导采样器优于均匀采样器（后者假设前景区域点分布均匀），实现更低的 FPD（0.580 vs. 0.841）和更优的形状保真度。
• 使用真实密度图的变体（Ours_real）取得最佳结果（CD: 0.907 × 10⁻³，FPD: 0.562 × 10），验证了预测密度图作为真实分布强代理的有效性。
• 模型在未见类别上泛化良好，包括 Sketchy 和 TU-Berlin 数据集中的非刚性物体，无需微调即可生成合理且细节丰富的 3D 重建。
• 定性结果表明，SketchSampler 能忠实保留草图细节，即使草图存在形变或不准确情况，也优先保持草图保真度而非依赖类别形状先验。