[论文解读] On the Effectiveness of Discretizing Quantitative Attributes in Linear Classifiers

Nayyar A. Zaidi, Yang Du+1 more|arXiv (Cornell University)|Jan 24, 2017

Neural Networks and Applications参考文献 21被引用 5

一句话总结

该论文表明，对定量属性进行离散化可显著降低线性分类器中的表示偏差，从而提高准确率，尤其在大规模数据集上表现更优，因为其能实现更灵活的决策边界。尽管存在信息损失，离散化在逻辑回归、支持向量分类器和神经网络中均提升了性能，该结论已在42个基准数据集上得到验证。

ABSTRACT

Learning algorithms that learn linear models often have high representation bias on real-world problems. In this paper, we show that this representation bias can be greatly reduced by discretization. Discretization is a common procedure in machine learning that is used to convert a quantitative attribute into a qualitative one. It is often motivated by the limitation of some learners to qualitative data. Discretization loses information, as fewer distinctions between instances are possible using discretized data relative to undiscretized data. In consequence, where discretization is not essential, it might appear desirable to avoid it. However, it has been shown that discretization often substantially reduces the error of the linear generative Bayesian classifier naive Bayes. This motivates a systematic study of the effectiveness of discretizing quantitative attributes for other linear classifiers. In this work, we study the effect of discretization on the performance of linear classifiers optimizing three distinct discriminative objective functions --- logistic regression (optimizing negative log-likelihood), support vector classifiers (optimizing hinge loss) and a zero-hidden layer artificial neural network (optimizing mean-square-error). We show that discretization can greatly increase the accuracy of these linear discriminative learners by reducing their representation bias, especially on big datasets. We substantiate our claims with an empirical study on $42$ benchmark datasets.

研究动机与目标

• 研究对定量属性进行离散化是否能降低线性分类器中的表示偏差。
• 评估离散化在多种线性判别模型（包括逻辑回归、支持向量分类器和神经网络）中的有效性。
• 确定在何种条件下，尽管存在信息损失，离散化仍能降低泛化误差。
• 分析线性模型中的偏差-方差权衡，并评估离散化如何改变这一平衡。
• 提供离散化在多样化真实世界数据集上影响的实证证据。

提出的方法

• 使用等频分箱法对定量属性进行离散化，将连续值转换为离散区间。
• 训练三种线性判别模型：逻辑回归（最小化负对数似然）、支持向量分类器（最小化合页损失）以及无隐藏层的神经网络（最小化均方误差）。
• 在原始连续数据和离散化数据上分别训练模型，以比较性能和偏差降低效果。
• 采用偏差-方差分解分析离散化对模型泛化能力的影响。
• 在来自UCI及其他来源的42个基准数据集上进行实证评估，涵盖多样化领域和规模。
• 应用统计显著性检验，验证在各数据集上观察到的性能提升是否具有统计显著性。

实验结果

研究问题

• RQ1 对定量属性进行离散化是否能降低线性分类器中的表示偏差，特别是在大规模数据集上？
• RQ2 离散化如何影响逻辑回归、支持向量分类器和神经网络的性能？
• RQ3 在何种条件下，尽管存在信息损失，离散化仍能降低泛化误差？
• RQ4 离散化如何改变线性模型中的偏差-方差权衡？
• RQ5 离散化带来的性能提升是否在不同数据规模和领域中保持一致？

主要发现

• 离散化显著降低了线性分类器中的表示偏差，尤其在大规模数据集中，因过拟合被最小化而效果更明显。
• 离散化带来的性能提升在逻辑回归和支持向量分类器中最为显著，在42个基准数据集中均表现出一致的准确率增益。
• 对于无隐藏层的神经网络，离散化通过实现比单纯线性分离更复杂的决策边界，从而提高了准确率。
• 由于离散化带来的偏差降低，通常可导致测试误差下降，尤其在数据集规模足够大以缓解方差增加时更为明显。
• 当底层数据分布为非线性时，离散化的优势最为显著，因为它使线性模型能够近似非线性决策边界。
• 实证结果表明，即使丢弃了部分信息，离散化在真实世界场景中仍可能优于连续建模。