[论文解读] Towards Black-box Iterative Machine Teaching

Weiyang Liu, Bo Dai+4 more|arXiv (Cornell University)|Oct 21, 2017

Machine Learning and Algorithms参考文献 33被引用 15

一句话总结

本文提出了一种用于跨空间黑盒迭代机器教学的主动教师模型，其中教师与学习者使用不同的特征表示，且教师无法观测学习者的模型。通过在间隔时间内主动向学习者查询少量样本，并利用预测结果估计学习者的状态，该教师模型在即使存在遗忘行为的情况下，也能实现比随机教学更快的收敛速度，且为教学和查询过程提供了样本复杂度上界。

ABSTRACT

In this paper, we make an important step towards the black-box machine teaching by considering the cross-space machine teaching, where the teacher and the learner use different feature representations and the teacher can not fully observe the learner's model. In such scenario, we study how the teacher is still able to teach the learner to achieve faster convergence rate than the traditional passive learning. We propose an active teacher model that can actively query the learner (i.e., make the learner take exams) for estimating the learner's status and provably guide the learner to achieve faster convergence. The sample complexities for both teaching and query are provided. In the experiments, we compare the proposed active teacher with the omniscient teacher and verify the effectiveness of the active teacher model.

研究动机与目标

• 解决教师与学习者使用不同特征表示且教师无法观测学习者模型的黑盒学习者教学挑战。
• 开发一种实用的机器教学框架，以在迭代学习场景中实现更快收敛，尤其在无法完全观测模型参数时。
• 建模并缓解迭代教学过程中学习者遗忘行为的影响。
• 将主动教学框架扩展至多教师及真实世界场景，并通过实证验证。

提出的方法

• 主动教师模型定期向学习者查询少量精心挑选的样本，以获取预测反馈。
• 教师利用预测响应来估计学习者模型的当前状态，即使无法直接访问模型参数。
• 该方法基于理论分析，表明在适当条件下，主动教师的收敛速度优于随机教学。
• 通过建模参数偏差并利用主动查询估计当前参数，该方法被扩展以处理具有遗忘行为的学习者，即使存在噪声。
• 引入了一种类懒惰教师基线模型，该模型通过构建无遗忘的虚拟学习者来指导教学，但无法适应真实遗忘行为。
• 为被动教师的教学与查询过程推导出理论上的样本复杂度上界。

实验结果

研究问题

• RQ1 在教师无法观测学习者模型的跨空间黑盒设置中，主动教师能否实现比随机教学更快的收敛？
• RQ2 当教师与学习者的特征表示不同时，教师如何估计学习者的当前状态？
• RQ3 主动教师模型能否有效缓解遗忘行为对迭代学习者造成的负面影响？
• RQ4 在跨空间设置中，主动教师的教学与查询过程的样本复杂度是多少？
• RQ5 与假设无遗忘行为的懒惰教师模型相比，主动教师表现如何？

主要发现

• 主动教师模型在跨空间迭代机器教学设置中，可证明地实现比随机教学更快的收敛速度。
• 即使无法直接访问模型参数，主动教师也能足够准确地估计学习者的当前状态，从而引导更快收敛。
• 当学习者表现出遗忘行为时，主动教师优于懒惰教师，因为懒惰教师无法适应参数偏差。
• 在MNIST数据集上的实验结果表明，与随机教师和懒惰教师相比，主动教师显著提升了收敛速度，尤其是在存在遗忘行为时。
• 教学与查询的样本复杂度均被限制在 O(log(1/ε)) 范围内，表明在主动教师框架下学习效率较高。
• 结果验证了教育中周期性评估（如考试）的实际相关性，因为主动查询模拟了这一过程，从而提升了教学效果。