[论文解读] The role of dimensionality reduction in linear classification

Weiran Wang, Miguel Á. Carreira-Perpiñán|arXiv (Cornell University)|May 26, 2014

Neural Networks and Applications参考文献 27被引用 3

一句话总结

该论文提出了一种新颖且高效的算法，通过辅助坐标联合优化非线性降维（DR）映射与线性分类器，实现端到端训练，其性能优于传统的滤波方法。该方法通过在潜在空间中最大程度地实现类间线性可分性，使类别坍缩，从而在保持快速推理的同时达到最先进分类准确率，并允许用户通过基函数数量灵活权衡运行时间和准确率。

ABSTRACT

Dimensionality reduction (DR) is often used as a preprocessing step in classification, but usually one first fixes the DR mapping, possibly using label information, and then learns a classifier (a filter approach). Best performance would be obtained by optimizing the classification error jointly over DR mapping and classifier (a wrapper approach), but this is a difficult nonconvex problem, particularly with nonlinear DR. Using the method of auxiliary coordinates, we give a simple, efficient algorithm to train a combination of nonlinear DR and a classifier, and apply it to a RBF mapping with a linear SVM. This alternates steps where we train the RBF mapping and a linear SVM as usual regression and classification, respectively, with a closed-form step that coordinates both. The resulting nonlinear low-dimensional classifier achieves classification errors competitive with the state-of-the-art but is fast at training and testing, and allows the user to trade off runtime for classification accuracy easily. We then study the role of nonlinear DR in linear classification, and the interplay between the DR mapping, the number of latent dimensions and the number of classes. When trained jointly, the DR mapping takes an extreme role in eliminating variation: it tends to collapse classes in latent space, erasing all manifold structure, and lay out class centroids so they are linearly separable with maximum margin.

研究动机与目标

• 为解决基于滤波的降维方法中DR与分类器顺序训练导致性能次优的局限性。
• 开发一种可扩展、高效且通用的包装器方法，联合优化DR映射与分类器，直接最小化分类误差。
• 探究非线性DR在线性分类中的真实作用，特别是潜在空间表征如何影响泛化能力与可分性。
• 提供一种实用、即插即用的方法，重用标准回归与SVM求解器，实现快速训练与测试，并支持可调的准确率/运行时间权衡。
• 证明在联合优化下，最优DR会消除所有流形结构，将类别坍缩以最大化潜在空间中的间隔。

提出的方法

• 采用辅助坐标法，将DR映射F与线性SVM分类器g的非凸联合优化问题转化为一系列凸子问题。
• 在基于RBF的非线性DR映射F的回归训练与线性SVM分类器g的标准SVM优化之间交替进行。
• 在F与g之间引入一个闭式协调步骤，确保每轮迭代均最小化联合目标函数。
• 在DR映射上施加正则化项λR(F)，以防止过拟合并控制模型复杂度。
• 将该算法应用于F的RBF网络与g的线性SVM，实现对测试样本的显式、快速推理。
• 该方法具备可扩展性与可并行性，重用标准回归与SVM求解器的实现。

实验结果

研究问题

• RQ1 当DR与分类器联合优化时，非线性降维在提升线性分类性能中的真实作用是什么？
• RQ2 当在DR与分类器上联合最小化分类误差，而非使用代理目标时，潜在空间表征如何变化？
• RQ3 联合优化框架是否能在分类准确率与效率方面超越标准的基于滤波的DR方法（如LDA或PCA）？
• RQ4 在与线性分类器联合优化下，DR映射在多大程度上保留或抹除数据流形结构？
• RQ5 潜在维度L的数量与类别数量在多大程度上影响最优DR映射与分类性能？

主要发现

• 所提出的联合优化算法在基准数据集上实现了最先进分类误差，同时保持了快速的训练与推理速度。
• 在联合优化下，非线性DR映射将同一类的所有数据点在潜在空间中坍缩为单一点，完全抹除所有流形结构。
• 最优DR映射在潜在空间中将类别中心放置为可实现最大间隔的最大线性可分状态。
• 该方法有效消除了独立的随机噪声与标签不变变化（不需要的自由度），实现了一种类激进去噪的效果。
• 该算法收敛至联合目标的局部最小值，可被视为一种具有收敛性证明的迭代滤波方法，性能更优。
• 结果表明，基于类间可分性或类内散度的传统滤波方法具有合理性，但可通过直接联合优化实现超越。