[论文解读] Pattern Recognition for Conditionally Independent Data

Daniil Ryabko|arXiv (Cornell University)|Jul 18, 2005

Machine Learning and Algorithms参考文献 28被引用 19

一句话总结

本文通过引入一种条件独立模型，将经典模式识别理论从独立同分布（i.i.d.）假设扩展至更弱的条件：即在给定标签的情况下，对象条件独立同分布，且标签频率远离零。研究证明，在该较弱假设下，许多学习算法——尤其是划分型和最近邻预测器——只要对数据排列和微小扰动具有鲁棒性，其误差率的一致性与泛化界依然成立。

ABSTRACT

In this work we consider the task of relaxing the i.i.d assumption in pattern recognition (or classification), aiming to make existing learning algorithms applicable to a wider range of tasks. Pattern recognition is guessing a discrete label of some object based on a set of given examples (pairs of objects and labels). We consider the case of deterministically defined labels. Traditionally, this task is studied under the assumption that examples are independent and identically distributed. However, it turns out that many results of pattern recognition theory carry over a weaker assumption. Namely, under the assumption of conditional independence and identical distribution of objects, while the only assumption on the distribution of labels is that the rate of occurrence of each label should be above some positive threshold. We find a broad class of learning algorithms for which estimations of the probability of a classification error achieved under the classical i.i.d. assumption can be generalised to the similar estimates for the case of conditionally i.i.d. examples.

研究动机与目标

• 放松模式识别中严格的i.i.d.假设，以适应现实应用中常见的依赖数据结构。
• 形式化一种新模型——给定标签时对象的条件独立性，且标签频率远离零。
• 证明关键学习算法在该较弱假设下仍保持其理论性能保证。
• 识别一种通用性质——对数据排列和小子集的容忍性——作为该新模型中学习算法鲁棒性的保证。
• 将i.i.d.设定下的分布无关与分布相关误差界扩展至条件独立同分布设定。

提出的方法

• 提出一种条件模型：标签从具有有界标签频率的无限序列上的固定分布中抽取，且在给定标签时，对象条件独立同分布。
• 引入“对数据的容忍性”作为将i.i.d.结果推广至条件模型的必要且充分条件。
• 应用Vapnik-Chervonenkis理论，推导在条件独立性下经验风险最小化器的有限样本误差界。
• 利用排列不变性与集中不等式（如马尔可夫不等式）来界定小数据变化改变分类误差的概率。
• 分析两类预测器：最近邻与划分型估计器，证明其在新模型下的弱一致性和强一致性。
• 通过界定原始数据与排列后数据样本之间误差率的差异，建立误差估计的传递机制。

实验结果

研究问题

• RQ1 当i.i.d.假设被放松为给定标签时对象的条件独立性时，经典模式识别算法是否仍能保持其误差率的一致性？
• RQ2 对标签分布的何种最小假设（如频率阈值）足以维持泛化性能？
• RQ3 学习算法的何种性质可确保其在条件独立性下的鲁棒性？这些性质如何形式化？
• RQ4 i.i.d.设定下的分布无关误差界能否推广至条件独立同分布模型？
• RQ5 在非i.i.d.设定下，排列不变的误差估计与算法容忍性及泛化性能有何关联？

主要发现

• 最近邻预测器在条件模型下保持弱一致性，其误差概率随样本量增加而趋于零。
• 划分型预测器在相同条件下也实现弱一致性，前提是满足标签频率阈值。
• 对于两类预测器，由数据排列或小子集变化引起的误差偏差概率均可被界定，并可任意缩小。
• 本文证明：若预测器对数据扰动和排列具有容忍性，则其i.i.i.d.误差界可推广至条件独立同分布模型。
• 利用VC理论推导出经验风险最小化器的有限样本误差界，表明在条件独立性下泛化误差仍受控。
• 关键的传递机制是容忍性属性：若预测器的误差对小数据变化和排列不敏感，则其i.i.d.性能保证在新模型中依然成立。