[论文解读] The Stochastic Replica Approach to Machine Learning: Stability and Parameter Optimization

Patrick Chao, Tahereh Mazaheri+3 more|arXiv (Cornell University)|Aug 18, 2017

Neural Networks and Applications参考文献 41被引用 3

一句话总结

本文提出了一种新型的监督机器学习方法——随机重复投票机（Stochastic Replica Voting Machines, SRVM）算法，该方法基于随机函数展开与集成投票机制，在分类与回归任务中均实现了高精度。其在多种数据集上表现出稳健性能，具备自动参数优化能力，并对类别不平衡具有稳定性，且可能实现与算法无关的精度边界，同时展现出潜在的物理坐标解释。

ABSTRACT

We introduce a statistical physics inspired supervised machine learning algorithm for classification and regression problems. The method is based on the invariances or stability of predicted results when known data is represented as expansions in terms of various stochastic functions. The algorithm predicts the classification/regression values of new data by combining (via voting) the outputs of these numerous linear expansions in randomly chosen functions. The few parameters (typically only one parameter is used in all studied examples) that this model has may be automatically optimized. The algorithm has been tested on 10 diverse training data sets of various types and feature space dimensions. It has been shown to consistently exhibit high accuracy and readily allow for optimization of parameters, while simultaneously avoiding pitfalls of existing algorithms such as those associated with class imbalance. We very briefly speculate on whether spatial coordinates in physical theories may be viewed as emergent "features" that enable a robust machine learning type description of data with generic low order smooth functions.

研究动机与目标

• 开发一种受统计物理启发的新监督机器学习算法，通过随机函数展开确保预测的稳定性。
• 通过集成投票机制，解决现有算法在类别不平衡和过拟合方面的局限性。
• 利用来自副本重叠的内在稳定性度量，实现模型参数的自动优化。
• 探讨物理理论中的空间坐标是否可被视为涌现特征，从而实现稳健的机器学习描述。
• 利用随机副本的集成结构，建立与算法无关的预测精度边界。

提出的方法

• 该方法将训练数据表示为在随机选取的随机函数上的线性展开，利用其在扰动下的不变性以确保预测稳定性。
• 采用此类随机展开的集成（称为“副本”），并通过多数投票方式组合其输出，以预测新数据的标签。
• 关键参数——通常为控制随机函数生成的单一超参数——通过副本间重叠作为预测精度的代理指标，实现自动优化。
• 该算法使用基于核函数的输入特征展开，其中每个副本通过随机基函数求解线性系统，预测结果基于集体一致意见得出。
• 通过不同副本解之间的重叠量化稳定性；高重叠与高预测精度相关，从而实现参数调优。
• 该框架自然支持分类与回归任务，并可扩展至高阶展开或混合无监督-监督学习。

实验结果

研究问题

• RQ1 基于随机函数展开与集成投票的机器学习模型，是否能在多种数据集上实现高精度，同时最小化对类别不平衡的敏感性？
• RQ2 如何量化多个随机副本之间预测的稳定性，并用于自动优化模型参数？
• RQ3 不同随机副本解之间的重叠是否可作为整体模型精度的可靠指标？
• RQ4 是否可以利用随机集成的结构，推导出与算法无关的预测精度边界？
• RQ5 物理理论中涌现的空间坐标概念，是否可通过低阶光滑函数与稳健的机器学习表征建立关联？

主要发现

• SRVM方法在10个不同维度的特征空间中、涵盖多种类型的多样化数据集上，均实现了稳定且高精度的预测结果，在多个基准测试中表现优于或匹配当前最先进模型。
• 该算法对数据缩放和预处理方法表现出稳健性，不同归一化技术下的预测性能保持稳定。
• 通过将副本间重叠作为代理度量，成功实现了参数的自动优化，最优参数对应于预测稳定性的峰值。
• 该方法表现出极低偏差与高稳定性，预测结果在多次运行和不同数据划分下均保持统计一致性。
• 不同随机副本之间的重叠与预测精度高度相关，从而可可靠识别最优模型参数。
• 该框架暗示了一条通往基于随机集成统计特性的、与算法无关的精度边界的研究路径。