[论文解读] Scaling-Translation-Equivariant Networks with Decomposed Convolutional Filters

Wei Zhu, Qiang Qiu+3 more|arXiv (Cornell University)|Sep 24, 2019

Cell Image Analysis Techniques参考文献 60被引用 11

一句话总结

该论文提出ScDCFNet，一种具有缩放-平移等变性的卷积神经网络，通过在空间和尺度维度上分解卷积滤波器，实现对缩放和平移变换的联合等变性。通过在预设的可分基上截断展开，该方法在保持变形鲁棒性的同时降低了模型复杂度，从而在参数量少于标准CNN的情况下，提升了多尺度分类的准确率与可解释性。

ABSTRACT

Encoding the scale information explicitly into the representation learned by a convolutional neural network (CNN) is beneficial for many computer vision tasks especially when dealing with multiscale inputs. We study, in this paper, a scaling-translation-equivariant (ST-equivariant) CNN with joint convolutions across the space and the scaling group, which is shown to be both sufficient and necessary to achieve equivariance for the regular representation of the scaling-translation group ST . To reduce the model complexity and computational burden, we decompose the convolutional filters under two pre-fixed separable bases and truncate the expansion to low-frequency components. A further benefit of the truncated filter expansion is the improved deformation robustness of the equivariant representation, a property which is theoretically analyzed and empirically verified. Numerical experiments demonstrate that the proposed scaling-translation-equivariant network with decomposed convolutional filters (ScDCFNet) achieves significantly improved performance in multiscale image classification and better interpretability than regular CNNs at a reduced model size.

研究动机与目标

• 开发一种通用的缩放-平移等变卷积神经网络架构，显式地在特征学习中编码尺度变换。
• 解决在非紧致、非循环的缩放群上进行联合卷积带来的高计算与参数开销问题。
• 确保在不完美或变形的缩放操作下仍保持表示稳定性，这对实际的离散实现至关重要。
• 通过显式建模尺度不变性并采用群等变设计，提升多尺度图像分类中的可解释性与性能。

提出的方法

• 论文引入在ℝ²和缩放群𝒮上的联合卷积，通过𝒯群的正则表示实现缩放-平移等变（𝒯-等变）网络。
• 在空间域和尺度域中使用预设的可分基对卷积滤波器进行分解，通过低秩近似实现高效计算。
• 将滤波器展开截断为低频分量，显著降低模型规模与计算成本，同时保留关键表征能力。
• 理论分析证明，截断表示在缩放形变下仍保持近似等变性，确保对数值离散化和不完美缩放的鲁棒性。
• 采用改进的群卷积，显式引入尺度通道，使网络能通过跨尺度共享权重结构学习尺度感知特征。
• 通过自编码器和分类基准验证架构性能，并对滤波器截断与基选择进行消融实验。

实验结果

研究问题

• RQ1 能否构建一种通用的缩放-平移等变卷积神经网络，使其在正则表示下对𝒯群的等变性既充分又必要？
• RQ2 如何在不损失表征能力的前提下，降低在非紧致缩放群上联合卷积的计算负担？
• RQ3 在可分基上截断滤波器展开是否能保持等变性并提升对输入形变的鲁棒性？
• RQ4 与标准CNN相比，该方法在多尺度图像分类中的性能提升程度如何？
• RQ5 基的选择与截断级别在多大程度上影响模型的可解释性与泛化能力？

主要发现

• ScDCFNet在多尺度图像分类任务中显著提升了性能，优于标准CNN，且参数量更少。
• 模型对输入缩放形变表现出更强鲁棒性，理论与实证结果均表明其在不完美缩放下保持近似等变性。
• 将滤波器展开截断为低频分量可使模型复杂度降低高达80%，同时在消融实验中保持高准确率。
• 自编码器重建结果表明，ScDCFNet学习到的表征比标准CNN更具解耦性与可解释性。
• 理论分析确认，等变性误差被有界于O(2⁻ᵀ)，其中T控制截断级别，证明其在尺度形变下的稳定性。
• 实证结果表明，即使在严重的尺度扰动下，该方法仍能保持高性能，验证了其在真实场景中的鲁棒性。