[论文解读] Optimal Collusion-Free Teaching

David Kirkpatrick, Hans Ulrich Simon+1 more|arXiv (Cornell University)|Mar 10, 2019

Machine Learning and Algorithms被引用 4

一句话总结

本文提出了一种名为无冲突教学（no-clash teaching）的新教学模型，该模型在Goldman和Mathias的标准下无需共谋，且在所有此类模型中实现了最小可能的教学维度。论文证明了无冲突教学是最优的：其教学维度NCTD(C)始终小于或等于任何其他无共谋模型的教学维度，并建立了其与二分图中受限匹配及样本压缩之间的联系。

ABSTRACT

Formal models of learning from teachers need to respect certain criteria to avoid collusion. The most commonly accepted notion of collusion-freeness was proposed by Goldman and Mathias (1996), and various teaching models obeying their criterion have been studied. For each model $M$ and each concept class $\mathcal{C}$, a parameter $M$-$\mathrm{TD}(\mathcal{C})$ refers to the teaching dimension of concept class $\mathcal{C}$ in model $M$---defined to be the number of examples required for teaching a concept, in the worst case over all concepts in $\mathcal{C}$. This paper introduces a new model of teaching, called no-clash teaching, together with the corresponding parameter $\mathrm{NCTD}(\mathcal{C})$. No-clash teaching is provably optimal in the strong sense that, given any concept class $\mathcal{C}$ and any model $M$ obeying Goldman and Mathias's collusion-freeness criterion, one obtains $\mathrm{NCTD}(\mathcal{C})\le M$-$\mathrm{TD}(\mathcal{C})$. We also study a corresponding notion $\mathrm{NCTD}^+$ for the case of learning from positive data only, establish useful bounds on $\mathrm{NCTD}$ and $\mathrm{NCTD}^+$, and discuss relations of these parameters to the VC-dimension and to sample compression. In addition to formulating an optimal model of collusion-free teaching, our main results are on the computational complexity of deciding whether $\mathrm{NCTD}^+(\mathcal{C})=k$ (or $\mathrm{NCTD}(\mathcal{C})=k$) for given $\mathcal{C}$ and $k$. We show some such decision problems to be equivalent to the existence question for certain constrained matchings in bipartite graphs. Our NP-hardness results for the latter are of independent interest in the study of constrained graph matchings.

研究动机与目标

• 确定在Goldman和Mathias的无共谋标准下可实现的最小教学复杂度。
• 定义一种新的教学模型——无冲突教学，该模型可证明实现上述最小复杂度。
• 建立无冲突教学、VC维与样本压缩之间的理论联系。
• 分析判定NCTD(C) = k 或 NCTD⁺(C) = k 的计算复杂度，其中给定概念类C和整数k。
• 探讨无冲突教学与二分图中受限匹配之间的关系。

提出的方法

• 提出无冲突教学作为无共谋教学的新模型，其定义条件为：任意两个不同概念的授课集的并集不一致。
• 将无冲突教学维度NCTD(C)定义为在该模型下教学C中任意概念所需的最少样本数。
• 在由概念类构造的二分图中，建立无冲突教学与唯一受限匹配之间的一一对应关系。
• 将判定问题NCTD(C) = k（或NCTD⁺(C) = k）归约为在二分图中存在大小为k的受限匹配的存在性问题。
• 基于迭代移除度为1的顶点，开发了一种线性时间算法，用于判断在二分图中是否存在大小为|V₀|的唯一受限匹配。
• 利用该算法，可在与关联二分图大小成线性时间的关系内判定NCTD(C) ≤ k。

实验结果

研究问题

• RQ1 在Goldman和Mathias的无共谋标准下，所有无共谋教学模型中可实现的最小教学维度是多少？
• RQ2 无冲突教学模型能否通过组合结构（如二分图中的受限匹配）来刻画？
• RQ3 判定问题NCTD(C) = k是否具有计算上的可解性，其与图论中已知问题有何关联？
• RQ4 无冲突教学维度NCTD(C)是否随C的VC维线性增长，或是否受其函数有界？
• RQ5 无冲突教学能否为最小样本压缩方案的大小提供新见解？

主要发现

• 无冲突教学在理论上是最优的：对任意概念类C及任意无共谋教学模型M，均有NCTD(C) ≤ M-TD(C)。
• 判定问题NCTD(C) = k等价于从C导出的二分图中存在大小为k的唯一受限匹配。
• 判定大小为k的唯一受限匹配是否存在的问题即使在k作为输入的一部分时，也是NP完全的。
• 存在一种线性时间算法，用于判断在二分图中是否存在大小为|V₀|的唯一受限匹配，该算法基于迭代移除度为1的顶点。
• 相同算法方法适用于仅正样本的变体NCTD⁺(C)，方法是将二分图修改为仅包含大小至多为k的正样本。
• 研究结果建立了无冲突教学、受限匹配与样本压缩之间的强关联，表明无冲突教学可能解决与VC维线性界及压缩方案相关的开放问题。