[论文解读] TextureNet: Consistent Local Parametrizations for Learning from High-Resolution Signals on Meshes

Jingwei Huang, Haotian Zhang+4 more|arXiv (Cornell University)|Nov 30, 2018

3D Shape Modeling and Analysis参考文献 43被引用 4

一句话总结

TextureNet 提出了一种新颖的深度学习架构，通过利用一致的4-旋转对称（4-RoSy）场，在3D网格表面上实现了对高分辨率信号的定向不变卷积。通过使用具有一致局部参数化的测地邻域，该方法在3D语义分割任务中实现了最先进性能，平均IoU相比之前方法提升了6.4%（仅几何信息）和6.9–8.2%（RGB+几何信息）。

ABSTRACT

We introduce, TextureNet, a neural network architecture designed to extract features from high-resolution signals associated with 3D surface meshes (e.g., color texture maps). The key idea is to utilize a 4-rotational symmetric (4-RoSy) field to define a domain for convolution on a surface. Though 4-RoSy fields have several properties favorable for convolution on surfaces (low distortion, few singularities, consistent parameterization, etc.), orientations are ambiguous up to 4-fold rotation at any sample point. So, we introduce a new convolutional operator invariant to the 4-RoSy ambiguity and use it in a network to extract features from high-resolution signals on geodesic neighborhoods of a surface. In comparison to alternatives, such as PointNet based methods which lack a notion of orientation, the coherent structure given by these neighborhoods results in significantly stronger features. As an example application, we demonstrate the benefits of our architecture for 3D semantic segmentation of textured 3D meshes. The results show that our method outperforms all existing methods on the basis of mean IoU by a significant margin in both geometry-only (6.4%) and RGB+Geometry (6.9-8.2%) settings.

研究动机与目标

• 解决在3D表面网格上从高分辨率信号（如彩色纹理）学习的挑战，这些信号在现有3D深度学习方法中尚未被充分利用。
• 克服现有3D CNN在低分辨率表示上运行的局限性，这些局限性限制了细粒度语义区分能力。
• 开发一种一致且低失真的参数化方法，以在任意3D网格的测地邻域中保持局部方向性。
• 设计一种对4-RoSy场中4重旋转模糊性不变的新型卷积算子，以实现在表面信号上的鲁棒特征学习。
• 展示所提架构在使用高分辨率网格信号进行3D语义分割时的优越性，性能超越现有方法。

提出的方法

• 使用QuadriFlow在网格表面计算4-RoSy场，为测地邻域提供低失真、一致且奇点最少的参数化。
• 利用4-RoSy场在每个网格顶点周围定义局部测地邻域 patch，为每个 patch 分配一个对4重旋转不变的局部坐标系。
• 引入一种4-RoSy卷积算子，对场的全部四个旋转方向应用3×3卷积核，并通过最大池化聚合特征，以确保方向不变性。
• 构建一个类似UNet的网络架构TextureNet，由堆叠的4-RoSy卷积层组成，用于从几何信息和高分辨率信号（如RGB纹理）中提取分层特征。
• 使用交叉熵损失端到端训练网络进行3D语义分割，输入特征包括顶点位置、法线和纹理 patch。
• 预先计算局部参数化，以在保持与标准测地CNN相当的训练效率的同时，支持高分辨率信号处理。

实验结果

研究问题

• RQ1 通过4-RoSy场实现的一致局部参数化，是否能相比标准3D CNN在3D网格的高分辨率信号上提升特征学习性能？
• RQ2 4-RoSy卷积算子对4重旋转的不变性，在3D语义分割任务中如何影响性能？
• RQ3 当与几何特征结合时，高分辨率表面信号（如彩色纹理）在多大程度上提升了分割精度？
• RQ4 与其它卷积算子（如GCNN、ACNN、RoSy）相比，所提方法在特征一致性和分割精度方面表现如何？
• RQ5 所提架构是否能在仅使用几何信息时也泛化良好，并在3D语义分割任务中依然超越最先进方法？

主要发现

• 在仅使用表面几何信息的情况下，TextureNet 在ScanNet基准上实现了50.6%的平均IoU，相比之前最先进方法提升了6.4个百分点。
• 在包含RGB和几何特征的设置下，TextureNet 实现了54.8%的平均IoU，相比之前方法提升了6.9–8.2%。
• 与仅使用顶点法线和颜色相比，引入高分辨率纹理 patch（10×10）使平均IoU提升了3.3%。
• 消融研究证实，通过4-RoSy场实现的方向一致性至关重要——RoSy 4 (m)（在四个方向上使用最大池化）优于RoSy 4 和 RoSy 1，因其具备更好的不变性。
• 4-RoSy卷积算子显著提升了特征一致性，表现为在细粒度类别（如书架71.3%、照片21.1%）上IoU更高，尤其是在使用高分辨率纹理时。
• 由于预先计算了局部参数化，训练效率与标准测地CNN相当，使得该方法在高分辨率输入下仍具备可扩展性。