[论文解读] Universal Bayes consistency in metric spaces

Steve Hanneke, Aryeh Kontorovich+2 more|arXiv (Cornell University)|Jun 24, 2019

Machine Learning and Algorithms参考文献 34被引用 6

一句话总结

该论文提出 OptiNet，一种基于 1-最近邻的新型学习算法，在所有‘本质可分’的度量空间中实现了普遍强贝叶斯一致性——这一类空间比标准可分度量空间更广泛。论文证明了普遍贝叶斯一致性成立的充要条件是度量空间为本质可分空间，首次建立了普遍贝叶斯一致性不可行性的不可能结果，并使 OptiNet 成为首个在度量空间中实现乐观普遍贝叶斯一致性的学习器。

ABSTRACT

We extend a recently proposed 1-nearest-neighbor based multiclass learning algorithm and prove that our modification is universally strongly Bayes-consistent in all metric spaces admitting any such learner, making it an "optimistically universal" Bayes-consistent learner. This is the first learning algorithm known to enjoy this property; by comparison, the $k$-NN classifier and its variants are not generally universally Bayes-consistent, except under additional structural assumptions, such as an inner product, a norm, finite dimension, or a Besicovitch-type property. The metric spaces in which universal Bayes consistency is possible are the "essentially separable" ones -- a notion that we define, which is more general than standard separability. The existence of metric spaces that are not essentially separable is widely believed to be independent of the ZFC axioms of set theory. We prove that essential separability exactly characterizes the existence of a universal Bayes-consistent learner for the given metric space. In particular, this yields the first impossibility result for universal Bayes consistency. Taken together, our results completely characterize strong and weak universal Bayes consistency in metric spaces.

研究动机与目标

• 全面刻画学习算法可实现普遍贝叶斯一致性的度量空间。
• 解决一个长期开放的问题：是否存在无需有限维、范数结构等限制性结构假设的基于近邻的学习算法，可实现普遍贝叶斯一致性。
• 定义并分析‘本质可分’度量空间的概念，即标准可分性的推广。
• 证明 OptiNet 恰好在本质可分度量空间中实现普遍强贝叶斯一致性，从而建立紧致刻画。
• 通过证明在某些集合论假设下，非本质可分空间中不存在任何普遍贝叶斯一致的学习器，首次建立普遍贝叶斯一致性的不可能结果。

提出的方法

• 提出一种基于压缩方法的广义 1-NN 算法 OptiNet，该方法最初由 Kontorovich 等人（2017）提出，现被改编用于一般度量空间中的多分类问题。
• 引入‘本质可分’度量空间的概念：若每个概率测度都支撑于一个可分子空间，则称该度量空间为本质可分。
• 使用集合论工具，包括可测基数和正规测度，分析非本质可分空间的存在性及其对学习的影响。
• 利用测度论和拓扑学论证，证明 OptiNet 在所有本质可分度量空间中实现普遍强贝叶斯一致性。
• 证明在任何允许非本质可分度量空间存在的集合论模型中，均不存在普遍贝叶斯一致的学习器，从而建立不可能性结果。
• 利用任意度量空间上存在 Borel 可测全序（通过与广义 Baire 空间之间的 Borel 同构）来支持算法的构造与分析。

实验结果

研究问题

• RQ1 在哪些度量空间中，存在普遍贝叶斯一致的学习算法？
• RQ2 是否可以设计一种基于近邻的学习算法，在不依赖有限维、范数或内积结构的前提下实现普遍贝叶斯一致性？
• RQ3 精确的拓扑或集合论条件是什么，能够刻画度量空间中普遍贝叶斯一致学习器的存在性？
• RQ4 是否可能构造一种学习算法，使其在任何可能成功的情况下均能成功——即实现‘乐观普遍’一致性？
• RQ5 集合论公理（如与 ZFC 的独立性）在决定普遍贝叶斯一致学习器的存在性方面起什么作用？

主要发现

• OptiNet 在所有本质可分度量空间中实现普遍强贝叶斯一致性，表明该类空间足以实现普遍贝叶斯一致性。
• 论文证明，在允许非本质可分度量空间存在的集合论模型下，任何度量空间若非本质可分，则普遍贝叶斯一致性均不可能实现。
• 非本质可分度量空间的存在性与 ZFC 独立，且在这些模型中，不存在普遍贝叶斯一致的学习器。
• 本质可分性被证明是存在普遍贝叶斯一致学习器的必要且充分条件，从而在度量空间中完全刻画了强与弱普遍贝叶斯一致性的条件。
• OptiNet 是目前已知首个实现‘乐观普遍’一致性的学习算法——即在成功可能时必定成功——使其成为首个在度量空间中实现此性质的学习器。
• 本研究解决了长期悬而未决的开放问题，表明 $k$-NN 及其相关方法在缺乏有限维或加倍维数等附加结构假设时，并非普遍贝叶斯一致。