[论文解读] Using Feature Weights to Improve Performance of Neural Networks

Ridwan Al Iqbal|arXiv (Cornell University)|Jan 25, 2011

Neural Networks and Applications参考文献 17被引用 4

一句话总结

本文提出相关性辅助神经网络（CANN），一种将特征重要性（通过特征与目标之间的相关性度量）直接整合到前馈神经网络训练过程中的方法。通过根据特征与目标的相关性对特征进行加权，CANN 相较于传统的两步法（先进行特征选择，再进行训练）能够加速收敛并提高准确性。

ABSTRACT

Different features have different relevance to a particular learning problem. Some features are less relevant; while some very important. Instead of selecting the most relevant features using feature selection, an algorithm can be given this knowledge of feature importance based on expert opinion or prior learning. Learning can be faster and more accurate if learners take feature importance into account. Correlation aided Neural Networks (CANN) is presented which is such an algorithm. CANN treats feature importance as the correlation coefficient between the target attribute and the features. CANN modifies normal feed-forward Neural Network to fit both correlation values and training data. Empirical evaluation shows that CANN is faster and more accurate than applying the two step approach of feature selection and then using normal learning algorithms.

研究动机与目标

• 为解决标准神经网络对所有特征一视同仁、不考虑其相关性的问题。
• 通过将特征重要性的先验知识融入训练过程，提升学习速度和准确性。
• 通过直接将特征权重嵌入神经网络架构，消除对单独特征选择步骤的需求。
• 评估通过相关性整合特征权重是否能优于传统的训练与特征选择流程。

提出的方法

• CANN 通过引入基于每个特征与目标变量之间相关系数的特征权重，对标准前馈神经网络进行修改。
• 相关系数被计算为每个输入特征与目标属性之间的线性相关性，作为特征重要性的度量。
• 在反向传播过程中，网络同时更新标准权重和特征权重，后者根据其与目标的相关性进行调整。
• 损失函数被修改为包含一个加权特征和，其中权重为相关性值，从而在学习过程中突出更相关的特征。
• 该方法通过使用相关性作为连续的相关性度量，避免了显式的特征选择，使网络能够从所有特征中学习，同时优先关注重要特征。
• 通过真实世界数据集的实证评估，将 CANN 与两步法（先特征选择，再标准训练）进行比较，以衡量性能和收敛速度。

实验结果

研究问题

• RQ1 通过相关性整合特征重要性是否能提升神经网络的收敛速度？
• RQ2 使用基于相关性的特征加权是否能比使用所有特征的标准训练获得更高的准确性？
• RQ3 CANN 的性能与先进行特征选择再使用标准神经网络训练的两步方法相比如何？
• RQ4 基于相关性的连续特征权重是否在模型泛化能力方面优于离散特征选择？
• RQ5 将特征权重整合到神经网络训练过程中是否比完全依赖网络自行学习特征相关性更有效？

主要发现

• CANN 在训练过程中相比标准神经网络和两步法特征选择方法表现出更快的收敛速度。
• 在测试数据上，使用基于相关性的特征权重时，模型表现出更高的准确性，表明泛化能力得到改善。
• 通过相关性整合特征权重减少了对显式特征选择的需求，从而简化了学习流程。
• 实证结果表明，CANN 在多个数据集上均优于两步法，在训练速度和最终模型准确性方面表现更优。
• 使用相关性作为特征重要性的连续度量，提供了比二值特征选择更细致且更有效的加权方案。
• 即使在存在噪声或无关特征的情况下，CANN 仍保持高性能，表明其对特征冗余具有鲁棒性。