[论文解读] ProtoDash: Fast Interpretable Prototype Selection

Karthik S. Gurumoorthy, Amit Dhurandhar+1 more|arXiv (Cornell University)|Jul 5, 2017

Machine Learning and Data Classification被引用 14

一句话总结

ProtoDash 提出了一种快速、可解释的算法，通过弱子模框架从复杂数据集中选择加权原型，该框架推广了先前的工作，实现了在任意对称正定核下的原型和批评（低权重原型）选择。该方法实现了可扩展、一致的代表性样本选择，并具有理论近似保证，在零售、MNIST 和公共卫生数据集上均表现出色。

ABSTRACT

In this paper we propose an efficient algorithm ProtoDash for selecting prototypical examples from complex datasets. Our work builds on top of the learn to criticize (L2C) work by Kim et al. (2016) and generalizes it to not only select prototypes for a given sparsity level $m$ but also to associate non-negative weights with each of them indicative of the importance of each prototype. Unlike in the case of L2C, this extension provides a single coherent framework under which both prototypes and criticisms (i.e. lowest weighted prototypes) can be found. Furthermore, our framework works for any symmetric positive definite kernel thus addressing one of the open questions laid out in Kim et al. (2016). Our additional requirement of learning non-negative weights introduces technical challenges as the objective is no longer submodular as in the previous work. However, we show that the problem is weakly submodular and derive approximation guarantees for our fast ProtoDash algorithm. Moreover, ProtoDash can not only find prototypical examples for a dataset $X$, but it can also find (weighted) prototypical examples from $X^{(2)}$ that best represent another dataset $X^{(1)}$, where $X^{(1)}$ and $X^{(2)}$ belong to the same feature space. We demonstrate the efficacy of our method on diverse domains namely; retail, digit recognition (MNIST) and on the latest publicly available 40 health questionnaires obtained from the Center for Disease Control (CDC) website maintained by the US Dept. of Health. We validate the results quantitatively as well as qualitatively based on expert feedback and recently published scientific studies on public health.

研究动机与目标

• 为解决现有原型选择方法的局限性，提出在统一框架中同时选择原型和批评（低权重原型）。
• 将“学习批评”（Learn to Criticize, L2C）框架推广至任意对称正定核，解决先前工作中一个关键的开放问题。
• 为原型引入非负权重以反映其重要性，提升可解释性和代表性。
• 尽管加权目标函数不再具有子模性，仍提供理论近似保证。
• 支持跨数据集原型选择，即一个数据集中的原型能最佳代表同一特征空间中的另一个数据集。

提出的方法

• 通过为原型引入非负权重，扩展 L2C 框架，将选择问题转化为弱子模优化任务。
• 采用一种新颖的目标函数，结合贪心前向选择算法，平衡原型的代表性与权重重要性。
• 基于任意对称正定核，使用核化相似性度量计算数据点之间的亲和力。
• 在弱子模性条件下，推导贪心选择过程的理论近似边界，确保接近最优性能。
• 在同一特征空间中，支持域内原型选择（从数据集 X 中选择）和跨数据集原型选择（从 X² 代表 X¹）。
• 通过高效核计算和原型集的迭代优化，实现快速、可扩展的算法。

实验结果

研究问题

• RQ1 能否开发一个统一框架，同时选择原型和批评（低权重原型），并具备可解释的非负权重？
• RQ2 如何将原型选择推广至任意对称正定核，而非局限于特定核类型？
• RQ3 当目标函数因引入非负权重而不再具有子模性时，能提供何种理论保证？
• RQ4 ProtoDash 是否能有效从一个数据集选择代表性样本，以最佳代表同一特征空间中的另一个数据集？
• RQ5 ProtoDash 在零售、数字识别和公共卫生等多样化现实应用场景中的表现如何？

主要发现

• ProtoDash 有效将 L2C 框架推广至支持原型和批评选择，结合非负权重，实现更一致且可解释的表示。
• 尽管目标函数非子模，该方法通过证明问题具有弱子模性，仍提供理论近似保证。
• 在 MNIST 数据集上，ProtoDash 展现出优异性能，以极低计算成本实现高质量原型选择，并保持一致的可解释性。
• 在公共卫生领域，ProtoDash 从 CDC 数据中识别出与专家验证的公共卫生研究一致的代表性健康问卷。
• 专家反馈确认所选原型在语义上具有意义，能代表关键健康状况和行为。
• 该算法在大规模数据集上表现出高效可扩展性，即使在高维特征空间中也能实现快速原型选择。