[论文解读] PFCNN: Convolutional Neural Networks on 3D Surfaces Using Parallel Frames

Yuqi Yang, Shilin Liu+3 more|arXiv (Cornell University)|Aug 15, 2018

3D Shape Modeling and Analysis参考文献 23被引用 21

一句话总结

PFCNN 提出了一种新颖的卷积神经网络框架，用于基于并行框架场的3D表面网格，以实现在非欧几里得、弯曲表面上对标准2D卷积的忠实模拟。通过利用局部平坦连接和框架对齐的切空间，PFCNN 实现了局部平移等变性，从而在形状分类、分割和配准任务中实现了优于仅使用原始输入的最先进表面卷积神经网络的性能表现。

ABSTRACT

Surface meshes are widely used shape representations and capture finer geometry data than point clouds or volumetric grids, but are challenging to apply CNNs directly due to their non-Euclidean structure. We use parallel frames on surface to define PFCNNs that enable effective feature learning on surface meshes by mimicking standard convolutions faithfully. In particular, the convolution of PFCNN not only maps local surface patches onto flat tangent planes, but also aligns the tangent planes such that they locally form a flat Euclidean structure, thus enabling recovery of standard convolutions. The alignment is achieved by the tool of locally flat connections borrowed from discrete differential geometry, which can be efficiently encoded and computed by parallel frame fields. In addition, the lack of canonical axis on surface is handled by sampling with the frame directions. Experiments show that for tasks including classification, segmentation and registration on deformable geometric domains, as well as semantic scene segmentation on rigid domains, PFCNNs achieve robust and superior performances without using sophisticated input features than state-of-the-art surface based CNNs.

研究动机与目标

• 为解决由于3D表面网格具有非欧几里得、弯曲结构，而难以直接应用标准2D卷积神经网络的问题。
• 通过在切平面上构建类似欧几里得的平坦结构，实现在网格上的局部平移等变性——这对权重共享和泛化能力至关重要。
• 通过采样N方向框架场并将其组织在N重覆盖空间中，克服表面上缺乏标准轴的问题。
• 通过将规则网格上的重采样与框架对齐卷积相结合，提升在不规则、弯曲网格上的特征学习能力。
• 在不依赖复杂输入特征的前提下，实现在可变形和刚性几何域上的优越性能。

提出的方法

• PFCNN 使用并行框架场来编码局部平坦连接，实现在3D网格的切平面上特征图的路径无关平移。
• 每个局部表面 patch 被映射到一个切平面，框架场确保对齐，使卷积操作表现得如同标准2D卷积。
• N重覆盖空间结构利用N个框架方向作为标准轴，实现表面上一致的卷积操作。
• 通过在应用标准卷积核前，将不规则网格顶点的局部 patch 重采样到规则网格上，来处理不规则网格顶点。
• 该框架利用离散微分几何工具——特别是通过并行框架场编码的局部平坦连接——以保持几何一致性。
• 该方法通过模拟标准CNN，支持高效且参数高效的网络，从而可重用现有成熟架构。

实验结果

研究问题

• RQ1 基于表面的CNN能否在非欧几里得3D网格上实现与标准2D CNN类似的局部平移等变性？
• RQ2 如何在弯曲表面上建立一致的、路径无关的坐标系，以支持标准卷积操作？
• RQ3 框架场分辨率（N）对基于网格的深度学习中性能和计算成本的影响如何？
• RQ4 归一化方法（如实例归一化与批量归一化）对可变形3D形状训练稳定性和性能的影响是什么？
• RQ5 该方法对框架场奇点的鲁棒性如何？在这些区域附近是否仍能保持准确度？

主要发现

• 当N=8时，PFCNN在ShapeNet-13分类基准上达到93.35%的准确率，优于仅使用原始输入信号的先前表面卷积神经网络。
• 当N=4时，PFCNN在准确率（92.45%）与计算成本（前向传播每轮183.91ms）之间实现了良好平衡，适用于实际应用。
• 实例归一化（IN）在可变形域上始终优于批量归一化（BN），可能是因为形状几何的领域特定统计差异。
• 该方法对框架场奇点表现出鲁棒性：奇点顶点与更高预测误差无相关性，奇点区域的配准准确率分别达到93.4%（原始）和90.2%（重网格化），表明在奇点附近性能稳定。
• 消融实验证实，框架场对齐与N重覆盖空间结构均至关重要，移除任一均导致性能显著下降。
• PFCNN在刚性域上的语义场景分割任务和形状配准任务中均达到最先进水平，证明了其在不同几何域中的泛化能力。