[论文解读] Randomized co-training: from cortical neurons to machine learning and back again

David Balduzzi|arXiv (Cornell University)|Oct 24, 2013

Advanced Memory and Neural Computing参考文献 26被引用 13

一句话总结

本文提出了一种随机化协同训练方法，作为半监督学习的生物可解释元算法，其中神经元利用未标记数据来提升从稀疏奖励中学习的效率。该研究引入了相关Nyström视图（XNV），一种前沿算法，结合了随机视图与多视图回归，在大规模数据集上实现了快速、可扩展的性能，且假设极少。

ABSTRACT

Despite its size and complexity, the human cortex exhibits striking anatomical regularities, suggesting there may simple meta-algorithms underlying cortical learning and computation. We expect such meta-algorithms to be of interest since they need to operate quickly, scalably and effectively with little-to-no specialized assumptions. This note focuses on a specific question: How can neurons use vast quantities of unlabeled data to speed up learning from the comparatively rare labels provided by reward systems? As a partial answer, we propose randomized co-training as a biologically plausible meta-algorithm satisfying the above requirements. As evidence, we describe a biologically-inspired algorithm, Correlated Nystrom Views (XNV) that achieves state-of-the-art performance in semi-supervised learning, and sketch work in progress on a neuronal implementation.

研究动机与目标

• 理解皮层神经元如何利用海量未标记数据，以高效地从稀疏的、基于奖励的标签中学习。
• 开发一种快速、可扩展、高效、通用且生物可解释的学习算法——填补当前机器学习模型中的关键空白。
• 通过展示神经元连接中的随机化如何提升学习性能与泛化能力，弥合神经科学与机器学习之间的鸿沟。
• 基于神经生理学原理，形式化一种基于选择性线性回归与协同正则化的神经元协同训练机制。
• 证明随机视图可将协同训练的适用范围从人工视图扩展至真实世界与生物系统。

提出的方法

• 将突触动力学与可塑性的模型离散化，推导出一种选择性线性回归模型（即选择子），该模型整合了动作电位/静默的不对称性以及延迟的调制性信号。
• 提出相关Nyström视图（XNV），一种半监督学习算法，利用Nyström方法生成数据的随机视图，从而实现高效的多视图回归。
• 采用带有选择性项的协同正则化最小二乘法，以模拟神经元如何同时从AMPA与NMDA突触输入中学习，并在不同视图间对齐预测结果。
• 使用损失函数，结合标签数据上的监督误差与未标记数据上的无监督协同正则化，最小化不同视图之间的分歧。
• 基于Rademacher复杂度的理论保证表明，当两个视图的表征（如AMPA与NMDA）足够不同时，泛化性能会提升。
• 将神经元学习建模为在线、基于动作电位的更新，符合生物约束，支持高效、增量式学习。

实验结果

研究问题

• RQ1 神经元如何利用海量未标记数据，以加速从稀少、基于奖励的标签中学习？
• RQ2 随机视图能否作为协同训练中工程化视图的实用且高效替代方案，特别是在生物情境下？
• RQ3 突触连接中的随机化在多大程度上能增强神经系统的学习性能与泛化能力？
• RQ4 如何将协同训练形式化为皮层微环路中生物可解释的学习机制？
• RQ5 与标准协同训练及半监督学习方法相比，随机化协同训练在理论与实证层面具有哪些优势？

主要发现

• 相关Nyström视图（XNV）在半监督学习中达到最先进性能，在基准数据集上优于现有方法。
• XNV在70,000个数据点上运行时间少于30秒，而标准半监督学习（SSSL）在相同规模下变得计算不可行。
• 理论分析表明，当两个视图的表征（如AMPA与NMDA）足够不同时，泛化边界会改善，这一结果由Rademacher复杂度量化。
• 损失函数中的选择性项确保神经元仅在放电时才更新权重，符合能量效率与基于动作电位的可塑性等生物约束。
• 随机视图显著扩展了协同训练的适用范围，使其在自然视图不可用或难以定义时依然可行。
• 协同正则化的理论保证依赖于两个视图中标签数据表征的差异，差异越大，泛化边界越紧。