[论文解读] Prototypal Analysis and Prototypal Regression

Chenyue Wu, Esteban G. Tabak|arXiv (Cornell University)|Jan 31, 2017

Time Series Analysis and Forecasting参考文献 37被引用 10

一句话总结

本文提出原型分析作为一种稳健、局部敏感的典型分析替代方法，通过在重建过程中对远距离原型施加惩罚，减轻了典型分析对异常值的敏感性和非局部性问题。该方法被扩展至原型回归和核化形式，以处理分布数据，实现了基于凸包的可解释建模，在回归任务中提升了稳健性和局部性。

ABSTRACT

Prototypal analysis is introduced to overcome two shortcomings of archetypal analysis: its sensitivity to outliers and its non-locality, which reduces its applicability as a learning tool. Same as archetypal analysis, prototypal analysis finds prototypes through convex combination of the data points and approximates the data through convex combination of the archetypes, but it adds a penalty for using prototypes distant from the data points for their reconstruction. Prototypal analysis can be extended---via kernel embedding---to probability distributions, since the convexity of the prototypes makes them interpretable as mixtures. Finally, prototypal regression is developed, a robust supervised procedure which allows the use of distributions as either features or labels.

研究动机与目标

• 解决典型分析的局限性，特别是其在数据重建中对异常值的敏感性和非局部性问题。
• 开发一种新方法，在通过凸组合保持可解释性的同时，通过基于距离的惩罚项实现局部性。
• 通过引入将预测变量原型映射到响应变量原型的原型回归，实现稳健的监督学习。
• 将原型分析扩展至使用再生核希尔伯特空间（RKHS）中的核嵌入来处理概率分布。
• 在统一的可解释框架中支持混合数据类型——数值型、分类型和分布型数据。

提出的方法

• 在优化目标中引入惩罚项，对重建过程中使用远离数据点的原型进行惩罚，采用基于距离的权重的L1惩罚。
• 将原型分析形式化为凸优化问题，其中原型是数据点的凸组合，数据通过原型的凸组合进行重建。
• 应用核嵌入（核均值嵌入）将概率分布映射到RKHS，使方法能够处理分布数据。
• 使用能量距离核作为正定核以比较一维分布，并为已排序样本提供线性时间算法。
• 通过从预测变量和响应变量中提取原型，并利用凸组合进行局部映射，开发原型回归。
• 通过依赖凸组合确保可解释性和稳健性，因为凸组合自然表示混合，并将影响限制在局部邻域内。

实验结果

研究问题

• RQ1 原型分析是否能在保持可解释性的同时，降低典型分析对异常值的敏感性？
• RQ2 在重建中强制实现局部性如何提升基于原型的方法在回归任务中的适用性？
• RQ3 原型分析能否被核化以处理作为数据点的概率分布？
• RQ4 在包含分布型特征或标签的混合类型数据设置中，原型回归在多大程度上优于传统方法？
• RQ5 当应用于一维分布时，核化原型方法的计算效率如何？

主要发现

• 原型分析通过惩罚远距离原型的使用，有效降低异常值影响，实现重建的局部化并提升稳健性。
• 该方法在典型分析（λ = 0）与k-means（λ → ∞）之间插值，提供了可解释性与聚类行为之间的连续权衡。
• 原型回归实现了可解释、稳健的回归，适用于分布型输入和输出，已在真实EPA空气质量数据中得到验证。
• 能量距离核使已排序样本的一维分布间核相似性计算达到线性时间，将复杂度从O(nx ny)降低至O(nx + ny)。
• 在EPA室外空气质量数据集上，对多个原型回归模型的成功应用，实现了对NO2密度分布的准确预测，且外样本预测结果具有视觉准确性。
• 该框架通过RKHS中的核嵌入，支持混合数据类型，包括分类型、数值型和分布型特征。