[论文解读] The Blessing of Dimensionality: Separation Theorems in the Thermodynamic Limit

Alexander N. Gorban, Ivan Tyukin+1 more|arXiv (Cornell University)|Oct 3, 2016

Neural Networks and Applications被引用 8

一句话总结

本文提出了一种非侵入式、无需微调的改进方法，通过添加一系列感知器节点来调节决策，利用高维测度集中特性，提升遗留AI系统的性能。该方法在热力学极限下表现更优，通过在不重新训练的情况下微调一个预训练的行人检测网络得到验证。

ABSTRACT

We consider the problem of efficient the fly tuning of existing, or {\it legacy}, Artificial Intelligence (AI) systems. The legacy AI systems are allowed to be of arbitrary class, albeit the data they are using for computing interim or final decision responses should posses an underlying structure of a high-dimensional topological real vector space. The tuning method that we propose enables dealing with errors without the need to re-train the system. Instead of re-training a simple cascade of perceptron nodes is added to the legacy system. The added cascade modulates the AI legacy system's decisions. If applied repeatedly, the process results in a network of modulating rules dressing up and improving performance of existing AI systems. Mathematical rationale behind the method is based on the fundamental property of measure concentration in high dimensional spaces. The method is illustrated with an example of fine-tuning a deep convolutional network that has been pre-trained to detect pedestrians in images.

研究动机与目标

• 解决在无法重新训练或重新训练成本过高时，改进现有AI系统所面临的挑战。
• 克服遗留AI系统在缺乏对新错误或数据分布漂移适应能力方面的局限性。
• 开发一种适用于任意AI系统的通用调优机制，其输入具有结构化的高维空间特征。
• 利用高维空间中测度集中的数学特性，确保决策调节的鲁棒性。
• 通过级联的基于规则的调节实现AI性能的迭代式、模块化改进。

提出的方法

• 引入一系列感知器节点作为模块化、可叠加的层，嵌入遗留AI系统中，以调节其输出。
• 利用高维拓扑实向量空间的内在结构，确保有效的决策调节。
• 通过迭代应用形成一个调节规则的网络，逐步优化遗留系统的行为。
• 基于高维空间中测度集中的原理，确保决策边界的小幅扰动可带来稳定且可预测的性能提升。
• 以热力学极限（无限维）作为理论基础，保证收敛性和分离性。
• 将该方法应用于一个预训练的深度卷积神经网络进行行人检测，验证其在实际场景中的适用性。

实验结果

研究问题

• RQ1 是否能通过利用高维几何特性，在不重新训练的情况下改进遗留AI系统？
• RQ2 高维空间中的测度集中如何实现稳定且有效的决策调节？
• RQ3 感知器节点的迭代级联对预训练AI系统性能的影响如何？
• RQ4 该方法是否可普遍适用于具有结构化高维输入的不同类AI系统？
• RQ5 在热力学极限下，决策分离与性能提升是否存在理论保证？

主要发现

• 该方法仅通过添加感知器级联，即可在不重新训练的情况下提升遗留AI系统的性能。
• 高维空间中的测度集中特性确保决策边界变得越来越可分，从而实现有效的调节。
• 级联的迭代应用形成一个调节规则网络，逐步优化系统输出的决策。
• 该方法在理论上基于热力学极限，测度集中确保了鲁棒性与收敛性。
• 在预训练行人检测网络上的实证验证证实了该方法在真实AI应用中的有效性。
• 该技术可推广至任何其输入数据位于高维拓扑实向量空间中的AI系统。