[论文解读] On the Sample Complexity of End-to-end Training vs. Semantic Abstraction Training

Shai Shalev‐Shwartz, Amnon Shashua|arXiv (Cornell University)|Apr 23, 2016

Machine Learning and Algorithms参考文献 6被引用 38

一句话总结

本文表明，在高精度自动驾驶系统中，语义抽象——将系统分解为语义上有意义的模块——相比端到端训练，可将样本复杂度呈指数级降低。通过将故障建模为子模块错误的逻辑合取，并利用伯恩斯坦不等式施加概率界，作者证明即使在未观察到任何故障的情况下，也能对故障概率进行紧密的上界估计，而这是端到端学习无法实现的，因为后者需要 Ω(1/ε) 个样本才能完成验证。

ABSTRACT

We compare the end-to-end training approach to a modular approach in which a system is decomposed into semantically meaningful components. We focus on the sample complexity aspect, in the regime where an extremely high accuracy is necessary, as is the case in autonomous driving applications. We demonstrate cases in which the number of training examples required by the end-to-end approach is exponentially larger than the number of examples required by the semantic abstraction approach.

研究动机与目标

• 分析并比较高精度AI系统中端到端训练与语义抽象的样本复杂度。
• 识别模块化、语义上有意义的系统分解在何种条件下可显著降低数据需求。
• 形式化一种利用子模块故障概率与概率集中不等式来界定系统故障概率的方法。
• 证明当使用语义抽象时，即使系统故障率极低（例如 10^-18），其验证也可通过远少于端到端学习所需的数据量完成。

提出的方法

• 作者将系统故障建模为子模块故障的逻辑与（AND），其中每个子模块对应一个语义组件（例如车道检测、障碍物避让）。
• 他们应用伯恩斯坦不等式来界定每个子模块的经验故障率，从而获得其真实故障概率的高置信上界。
• 通过子模块的并集界（union bound），他们推导出整体系统故障概率的概率上界，该上界与子模块故障概率的乘积成比例。
• 他们引入一个残差项，表示所有子模块正常工作时的故障概率，假设该概率上界为 1/2。
• 该方法依赖于一个假设：在先前故障已知的条件下，子模块故障是条件独立的，从而能够实现乘法误差传播界。
• 最终的故障概率上界远小于 1/m，其中 m 为训练样本数量，因此可实现零故障验证。

实验结果

研究问题

• RQ1 在何种条件下，语义抽象可使高精度系统中的样本复杂度相比端到端训练实现指数级降低？
• RQ2 当训练数据中未观察到任何故障时，能否以高置信度对复杂系统的故障概率进行上界估计？
• RQ3 条件独立的子模块故障如何影响整体系统故障概率的上界？
• RQ4 使用端到端与模块化方法验证故障率极低（如 10^-18）的系统时，理论上所需的最少训练样本数是多少？
• RQ5 像伯恩斯坦不等式这样的概率集中不等式，能否在模块化AI系统中有效用于界定系统级故障概率？

主要发现

• 端到端训练的样本复杂度为 Ω(1/ε)，意味着为验证故障概率 ≤ ε 的系统，至少需要 1/ε 个样本。
• 对于语义抽象，即使未观察到任何故障，由 T 个子模块组成的系统故障概率仍可界定为 O(1/m)，其中 m 为训练样本数。
• 当每个子模块的故障概率为 10^-6 且 T=3 时，整体故障概率可在高置信度下被界定为 1.34×10^-18。
• 该方法使得使用远少于端到端学习所需样本数，即可验证故障率极低（如 10^-18）的系统成为可能。
• 残差故障概率（即所有子模块正常工作时的故障概率）被限制在 1/2 以内，且通过模块化设计可使其对总故障概率的贡献保持较小。
• 关键洞见在于：子模块故障概率可独立且相乘地界定，从而得到远小于 1/m 的整体故障上界，而这是端到端学习无法实现的。