[论文解读] Unsupervised Deep Haar Scattering on Graphs
本文提出了一种用于图结构数据的无监督深度哈尔小波散射变换，通过从信号变化中学习多尺度图几何结构，并利用加法、减法和绝对值的深层级联计算不变表示。该方法通过多项式时间的配对匹配估计连通的多分辨率邻域，以最小化平均总变差，从而在无先验几何知识的情况下，在混乱图像和球面上不规则采样信号上实现了最先进性能。
The classification of high-dimensional data defined on graphs is particularly difficult when the graph geometry is unknown. We introduce a Haar scattering transform on graphs, which computes invariant signal descriptors. It is implemented with a deep cascade of additions, subtractions and absolute values, which iteratively compute orthogonal Haar wavelet transforms. Multiscale neighborhoods of unknown graphs are estimated by minimizing an average total variation, with a pair matching algorithm of polynomial complexity. Supervised classification with dimension reduction is tested on data bases of scrambled images, and for signals sampled on unknown irregular grids on a sphere.
研究动机与目标
- 解决在未给定图结构先验知识的情况下，对未知或不规则图结构上的信号进行分类的挑战。
- 开发一种深层的、置换不变的表示方法，对信号位移（如节点重定位或数据偏移）具有鲁棒性。
- 通过最小化训练信号中平均总变差，无监督地估计多尺度图邻域。
- 在不需标签图结构的情况下，通过降维处理散射特征实现监督分类。
- 在真实世界数据（如混乱图像和球面上的信号）上展示该方法的有效性。
提出的方法
- 哈尔小波散射变换被实现为一系列置换不变算子的深层网络：对每对系数，计算和与绝对差值：(α, β) → (α+β, |α−β|)。
- 该变换在多个尺度上递归应用，形成一种分层分解，其中每一层代表信号更粗粒度、更不变的表示。
- 通过求解一个配对匹配问题来估计多尺度邻域，该问题通过多项式时间算法最小化训练样本中信号的平均总变差。
- 所得的散射系数对局部信号位移具有不变性，并捕捉图上的多尺度结构模式。
- 通过监督的偏最小二乘回归进行降维，以选择信息丰富的特征，随后应用高斯核SVM分类器。
- 该方法无需图拓扑的先验知识，仅通过信号变化本身学习底层连接结构。
实验结果
研究问题
- RQ1能否通过仅从信号变化中学习，构建一个深层无监督架构，从而在无图结构先验知识的情况下学习到有意义的图几何？
- RQ2哈尔小波散射变换在生成未知图上信号的不变表示方面有多高效？
- RQ3在多项式复杂度下，通过总变差最小化估计多尺度邻域的范围有多大？
- RQ4该无监督哈尔小波散射在混乱图像和球面信号数据上的性能与监督基线相比如何？
- RQ5该方法能否在无几何先验的情况下泛化到不规则、非均匀采样域（如球面）？
主要发现
- 在混乱的MNIST图像上，哈尔小波散射方法的测试错误率为27.3%，显著优于Fastfood（36.9%）和Random Kitchen Sinks（37.6%）。
- 当真实图像几何结构已知时，错误率降至21.3%，表明在获得完整几何信息时该方法具有巨大潜力。
- 对于具有未知几何结构的CIFAR-10图像，经过降维后该方法的错误率为21.3%，优于基线无监督方法。
- 在经随机旋转采样的球面上信号上，该方法将小角度旋转的错误率降低至2.2%，大角度旋转的错误率降低至47.7%，优于最近邻方法和全连接网络。
- 所估计的多分辨率集合具有高度连通性：在精细尺度下92%至97%的集合是连通的，证实了几何学习的有效性。
- 该方法在无需使用几何先验的情况下，在图像和球面信号数据集上均实现了最先进性能，完全依赖于信号变化模式。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。