[论文解读] Teaching Multiple Concepts to a Forgetful Learner

Anette Hunziker, Yuxin Chen+6 more|arXiv (Cornell University)|May 21, 2018

Machine Learning and Algorithms参考文献 39被引用 8

一句话总结

本文提出了一种新颖的自适应教学框架，通过使用离散优化来优化重复安排，帮助健忘的学习者高效掌握多个概念。该框架引入了一种具有理论性能保证的贪心算法，适用于特定的记忆模型，在模拟实验和词汇识别与物种识别应用的真实用户研究中，显著优于启发式方法。

ABSTRACT

How can we help a forgetful learner learn multiple concepts within a limited time frame? While there have been extensive studies in designing optimal schedules for teaching a single concept given a learner's memory model, existing approaches for teaching multiple concepts are typically based on heuristic scheduling techniques without theoretical guarantees. In this paper, we look at the problem from the perspective of discrete optimization and introduce a novel algorithmic framework for teaching multiple concepts with strong performance guarantees. Our framework is both generic, allowing the design of teaching schedules for different memory models, and also interactive, allowing the teacher to adapt the schedule to the underlying forgetting mechanisms of the learner. Furthermore, for a well-known memory model, we are able to identify a regime of model parameters where our framework is guaranteed to achieve high performance. We perform extensive evaluations using simulations along with real user studies in two concrete applications: (i) an educational app for online vocabulary teaching; and (ii) an app for teaching novices how to recognize animal species from images. Our results demonstrate the effectiveness of our algorithm compared to popular heuristic approaches.

研究动机与目标

• 解决在有限时间内向健忘学习者教授多个概念的挑战，其中传统启发式调度缺乏理论保证。
• 设计一种自适应、交互式教学课程，根据学习者的表现和遗忘模式动态调整。
• 开发一种适用于多种记忆模型的通用算法框架，并具备强理论性能边界。
• 识别在知名记忆模型中，所提框架可保证高性能的参数区域。
• 通过模拟学习者和真实人类参与者的实验，对框架进行实证评估，应用于教育应用。

提出的方法

• 将自适应教学问题建模为离散优化任务，以最大化表示随时间推移预期学习者表现的代理目标函数。
• 提出一种贪心算法，用于构建教学日程，根据学习者的历史响应自适应选择概念。
• 利用两种数据相关属性推导理论性能保证，并针对特定记忆模型实现高效估计。
• 识别出模型参数的一个区域——尤其在幂律遗忘模型中——在此区域内，贪心算法可保证实现高性能。
• 基于每个时间步正确回忆的概率设计效用函数，并在整个教学序列上进行优化。
• 使用回忆概率的递归公式来建模遗忘动态，并推导性能损失的边界。

实验结果

研究问题

• RQ1 我们能否设计一种自适应教学课程，在时间受限下对多个概念学习的表现优于启发式调度？
• RQ2 在学习者遗忘存在的情况下，能否为教学算法提供理论性能保证？
• RQ3 所提框架在不同记忆模型和参数区域下的性能表现如何变化？
• RQ4 与固定间隔或轮换调度相比，自适应调度在实际应用中能在多大程度上提升学习效果？
• RQ5 该框架能否在实际教育场景中高效应用于真实人类学习者？

主要发现

• 所提出的贪心算法在模拟实验和真实用户研究中，相较于流行的启发式基线方法，均实现了显著的性能提升。
• 对于一种知名的幂律遗忘模型，当模型参数满足特定条件（如学习率或衰减因子足够大）时，该框架可保证高性能。
• 理论分析表明，该算法的性能损失被一个与时间预算 T 和概念数量 n 成反比的项所限制。
• 在模拟实验中，该框架即使在强烈的遗忘条件下，仍能保持较高的回忆率（例如超过 90%），优于固定间隔的间隔重复方法。
• 在词汇识别与物种识别应用的真实用户研究中，自适应框架显著加快了掌握速度，并提高了长期记忆保持率，优于基线方法。
• 该框架在不同参数设置下均表现出鲁棒性，其性能边界可高效估计，适用于实际部署。