[论文解读] Neural network design for J function approximation in dynamic programming

Xiaohui Pang, Paul J. Werbos|arXiv (Cornell University)|Jun 3, 1998

Neural Networks and Applications参考文献 9被引用 58

一句话总结

本文提出一种新型神经网络架构——同步循环网络（SRNs），以解决近似动态规划（ADP）中非光滑J函数逼近的挑战，特别是在迷宫导航任务中。与传统的多层感知机（MLPs）不同，SRNs通过利用循环动力学和细胞结构，在复杂非光滑环境中成功学习最优路径，其逼近误差显著低于MLPs（1.25×10⁻⁴ vs. 5×10⁻⁴）。

ABSTRACT

This paper shows that a new type of artificial neural network (ANN) -- the Simultaneous Recurrent Network (SRN) -- can, if properly trained, solve a difficult function approximation problem which conventional ANNs -- either feedforward or Hebbian -- cannot. This problem, the problem of generalized maze navigation, is typical of problems which arise in building true intelligent control systems using neural networks. (Such systems are discussed in the chapter by Werbos in K.Pribram, Brain and Values, Erlbaum 1998.) The paper provides a general review of other types of recurrent networks and alternative training techniques, including a flowchart of the Error Critic training design, arguable the only plausible approach to explain how the brain adapts time-lagged recurrent systems in real-time. The C code of the test is appended. As in the first tests of backprop, the training here was slow, but there are ways to do better after more experience using this type of network.

研究动机与目标

• 开发一种能够逼近智能控制中近似动态规划（ADP）关键非光滑函数的神经网络架构。
• 解决传统多层感知机（MLPs）在学习动态规划中复杂非光滑函数（如J函数）方面的局限性。
• 展示循环网络——特别是同步循环网络（SRNs）——在无需对每个独立迷宫预先训练的情况下，解决困难函数逼近问题（如迷宫导航）的有效性。
• 探索实用的训练技术，包括回溯训练（BTT）和自适应学习率，以提升收敛性并减少局部极小值问题。
• 在合成问题（Net A/Net B）和真实世界问题（迷宫导航）中验证SRNs相较于MLPs的优越性。

提出的方法

• 采用同步循环网络（SRNs），一种具有反馈连接的循环神经网络，可通过迭代计算建模动态规划中的J函数。
• 设计细胞结构以嵌入迷宫问题中的空间关系，使网络能够通过局部交互学习全局路径优化。
• 应用带自适应学习率的回溯训练（BTT），以在非光滑函数训练过程中提升收敛性并避免局部极小值。
• 使用截断时间反向传播（截断）作为基线比较，评估完整序列与部分序列反向传播之间的性能差异。
• 通过最小化所有迷宫单元中预测值与实际动态规划解之间的误差，训练SRN以逼近J函数。
• 使用相同网络架构（9个输入，3个隐藏层，每层3个神经元，3个输出）比较SRNs与MLPs的性能，以隔离网络类型对函数逼近影响。

实验结果

研究问题

• RQ1 同步循环网络（SRNs）能否有效逼近动态规划中的非光滑J函数，特别是在迷宫导航等复杂控制任务中？
• RQ2 SRNs在逼近J函数方面与多层感知机（MLPs）相比表现如何，尤其是在光滑与非光滑问题中？
• RQ3 在SRNs训练非光滑函数时，哪些训练技术（如回溯训练（BTT）和自适应学习率）是实现稳定且精确收敛所必需的？
• RQ4 细胞网络结构能否增强SRNs在空间结构化问题（如迷宫）中泛化的能力？
• RQ5 SRNs在多大程度上能够学习前馈网络（如MLPs）无法表示的迭代算法？

主要发现

• 采用回溯训练（BTT）和自适应学习率训练的SRN在迷宫问题的J函数上达到最终逼近误差1.25×10⁻⁴，显著低于MLP的5×10⁻⁴误差。
• 采用BTT训练的SRN成功逼近了从起点到终点的最优路径，误差足够小，可确保朝最优方向移动。
• 采用截断训练的SRN未能有效逼近J函数，如视觉对比和误差曲线所示；而BTT训练的SRN表现出快速且稳定的收敛。
• 在Net A/Net B问题中，SRN在学习目标函数方面优于MLP，收敛更快且误差更低，表明其在非光滑函数逼近方面具有更强能力。
• MLP在约80次训练试验后误差不再改善，表明其在非光滑问题上收敛性差；而采用BTT的SRN持续改进。
• 细胞结构设计对解决迷宫问题至关重要，因为MLP和截断SRN均无法实现成功路径规划，表明架构创新在处理空间结构化、非光滑任务中的重要性。