[论文解读] Need is All You Need: Homeostatic Neural Networks Adapt to Concept Shift

Kingson Man, António R. Damásio+1 more|arXiv (Cornell University)|May 17, 2022

Neural Networks and Applications被引用 5

一句话总结

本文提出了一种内稳态神经网络，其学习动态与自身预测结果的后果相联系，使其对错误产生脆弱性——类似于‘需要’准确决策以维持内部稳定。在概念漂移情况下，尤其在高漂移率下，该模型通过动态调整学习率以适应数据分布的变化，表现优于标准学习器。

ABSTRACT

In living organisms, homeostasis is the natural regulation of internal states aimed at maintaining conditions compatible with life. Typical artificial systems are not equipped with comparable regulatory features. Here, we introduce an artificial neural network that incorporates homeostatic features. Its own computing substrate is placed in a needful and vulnerable relation to the very objects over which it computes. For example, artificial neurons performing classification of MNIST digits or Fashion-MNIST articles of clothing may receive excitatory or inhibitory effects, which alter their own learning rate as a direct result of perceiving and classifying the digits. In this scenario, accurate recognition is desirable to the agent itself because it guides decisions to regulate its vulnerable internal states and functionality. Counterintuitively, the addition of vulnerability to a learner does not necessarily impair its performance. On the contrary, self-regulation in response to vulnerability confers benefits under certain conditions. We show that homeostatic design confers increased adaptability under concept shift, in which the relationships between labels and data change over time, and that the greatest advantages are obtained under the highest rates of shift. This necessitates the rapid un-learning of past associations and the re-learning of new ones. We also demonstrate the superior abilities of homeostatic learners in environments with dynamically changing rates of concept shift. Our homeostatic design exposes the artificial neural network's thinking machinery to the consequences of its own "thoughts", illustrating the advantage of putting one's own "skin in the game" to improve fluid intelligence.

研究动机与目标

• 为应对机器学习中的概念漂移挑战（即标签与数据之间的关系随时间变化），通过建模内在动机以维持性能的系统。
• 探讨是否可通过赋予人工学习器一种内部脆弱性形式（即其自身决策影响内部状态）来增强适应能力。
• 研究内稳态调节是否能提升在二阶漂移（即概念漂移速率本身随时间变化）下的性能表现。
• 证明来自预测结果的内部反馈可作为持续学习的自调节机制，而无需外部奖励信号。

提出的方法

• 该模型是一个前馈神经网络分类器（例如，在MNIST或Fashion-MNIST上），其学习率受自身预测后果的调制。
• 预测误差直接影响网络的内部状态：正确预测降低内部压力（提高学习率），错误预测则增加压力（降低学习率）。
• 学习率通过一种将准确分类视为维持内部稳定所必需的内稳态反馈回路实现动态调整。
• 系统采用一种生物启发式反馈机制，其中网络自身的‘福祉’被表示为依赖于预测准确率的内部参数。
• 学习率根据网络的内部状态实时更新，而该内部状态受过去预测累积效应的影响。
• 该架构在受控的概念漂移场景下进行训练，包括突然变化和漂移率的季节性变化，以测试其适应能力。

实验结果

研究问题

• RQ1 一种对自身预测后果产生脆弱性的神经网络，是否能在概念漂移下比标准学习器实现更好的适应性？
• RQ2 内稳态学习器的性能提升程度是否随概念漂移率的增加而增大？
• RQ3 在二阶漂移条件下（即概念漂移速率本身随时间变化），内稳态机制的表现如何？
• RQ4 仅依靠预测结果的内部反馈，是否足以驱动有效的持续学习，而无需外部奖励信号或强化信号？
• RQ5 内稳态设计是否会导致持续的学习率调整，从而在环境条件波动时维持性能？

主要发现

• 在高概念漂移率下，内稳态学习器显著优于标准模型，且在最高漂移率下性能提升最为明显。
• 在静态或低漂移条件下，与标准学习器相比，内稳态模型承受轻微性能损失，表明适应能力与稳定性之间存在权衡。
• 内稳态网络在高概念漂移期间动态提高其学习率，从而能够快速适应新的数据分布。
• 在‘风暴期’（高漂移）开始后，内稳态模型比恒定学习率基线模型恢复得更快，并保持更高的准确率。
• 内稳态模型表现出‘潜伏期’行为——在平静时期仍保持较高的学习率，导致稳定阶段性能略有下降，但总体在波动环境中维持了更优的平均性能。
• 内稳态设计能够有效适应二阶漂移（即概念漂移速率随时间变化），展示了对动态环境变化的鲁棒性。