[论文解读] Quantitative Performance Assessment of CNN Units via Topological Entropy Calculation

Yang Zhao, Hao Zhang|arXiv (Cornell University)|Mar 17, 2021

Topological and Geometric Data Analysis被引用 5

一句话总结

本文提出特征熵——一种基于持久同调的拓扑熵度量方法，用于以尺度不变的方式定量评估卷积神经网络（CNN）中单个卷积单元的性能。通过评估同一类别图像中特征图中空间模式的稳定性，特征熵能够识别出有效单元（高熵）与无效单元（低熵），其与训练损失和泛化能力具有强相关性，并可实现精度损失极小的高效网络剪枝。

ABSTRACT

Identifying the status of individual network units is critical for understanding the mechanism of convolutional neural networks (CNNs). However, it is still challenging to reliably give a general indication of unit status, especially for units in different network models. To this end, we propose a novel method for quantitatively clarifying the status of single unit in CNN using algebraic topological tools. Unit status is indicated via the calculation of a defined topological-based entropy, called feature entropy, which measures the degree of chaos of the global spatial pattern hidden in the unit for a category. In this way, feature entropy could provide an accurate indication of status for units in different networks with diverse situations like weight-rescaling operation. Further, we show that feature entropy decreases as the layer goes deeper and shares almost simultaneous trend with loss during training. We show that by investigating the feature entropy of units on only training data, it could give discrimination between networks with different generalization ability from the view of the effectiveness of feature representations.

研究动机与目标

• 解决当前缺乏一种通用的、尺度不变的度量方法来评估多样化架构中单个CNN单元性能的问题。
• 基于其特征表示中全局空间模式的稳定性，识别出有效单元，且独立于激活幅值。
• 提供一种通用的、定量的单元状态指标，该指标在权重重标度下保持有效，能够区分有意义的与随机的特征模式。
• 通过仅使用训练数据，证明特征熵在识别具有优越泛化能力的模型方面的实用性。
• 通过基于特征熵的通道选择，实现基于性能的高效网络剪枝。

提出的方法

• 将特征熵定义为同一类别图像的特征图经持久同调分析后所得拓扑条形码的信息熵。
• 利用持久同调提取捕捉单元激活中空间模式稳定性的拓扑不变量（条形码）。
• 将特征熵计算为条形码分布的香农熵，以反映空间模式的规律性与一致性。
• 通过平均多个类别上的特征熵，聚合得到用于模型整体评估的层内或单元级得分。
• 采用逐层剪枝策略，选择特征熵较高的滤波器进行移除，以降低FLOPs和参数量。
• 使用带有学习率调度的SGD对剪枝后的模型进行微调，以恢复剪枝后的性能。

实验结果

研究问题

• RQ1 拓扑熵度量能否提供一种尺度不变且普遍适用的指标，用于评估单个CNN单元的性能？
• RQ2 特征熵在训练过程中如何演化？其是否与标准训练损失和泛化能力存在相关性？
• RQ3 特征熵能否有效区分出代表有意义特征的单元与产生随机或混沌模式的单元？
• RQ4 在多大程度上，特征熵可指导高效剪枝，同时保持模型精度？
• RQ5 仅使用训练数据，特征熵能否实现对不同泛化能力模型的有效区分？

主要发现

• 随着网络深度的增加，特征熵单调递减，表明各层在空间模式表征上逐步优化。
• 特征熵的变化趋势与训练损失曲线高度吻合，表明其能够追踪网络的学习动态。
• 特征熵在权重重标度操作下保持不变，使其对保持功能的架构修改具有鲁棒性。
• 高特征熵的单元始终代表有意义的、空间上一致的特征，而低熵单元则表现出混沌或随机模式。
• 基于特征熵的剪枝方法表现优异：在50%剪枝率下，模型保留了原始精度的99.91%（仅下降0.09%），优于L1范数和APoZ方法在精度保持方面的表现。
• 使用100个类别计算特征熵可获得最优精度，进一步增加至150或200个类别仅带来边际收益。