[论文解读] Online Structured Prediction via Coactive Learning

Pannagadatta K. Shivaswamy, Thorsten Joachims|arXiv (Cornell University)|May 18, 2012

Advanced Bandit Algorithms Research参考文献 20被引用 40

一句话总结

本文提出协同学习（Coactive Learning），一种新颖的在线结构化预测框架，系统通过增量式用户反馈进行学习——即用户提供的改进预测结果，而非基数效用值。作者提出了具有 O(1/√T) regret 边界的有效算法，并在网页搜索与电影推荐任务中进行了验证，即使在存在噪声或次优反馈的情况下也表现出色。

ABSTRACT

We propose Coactive Learning as a model of interaction between a learning system and a human user, where both have the common goal of providing results of maximum utility to the user. At each step, the system (e.g. search engine) receives a context (e.g. query) and predicts an object (e.g. ranking). The user responds by correcting the system if necessary, providing a slightly improved -- but not necessarily optimal -- object as feedback. We argue that such feedback can often be inferred from observable user behavior, for example, from clicks in web-search. Evaluating predictions by their cardinal utility to the user, we propose efficient learning algorithms that have ${\cal O}(\frac{1}{\sqrt{T}})$ average regret, even though the learning algorithm never observes cardinal utility values as in conventional online learning. We demonstrate the applicability of our model and learning algorithms on a movie recommendation task, as well as ranking for web-search.

研究动机与目标

• 形式化一种新型学习模型——协同学习，其中用户提供的反馈为改进后的预测结果，而非最优或带效用标注的反馈。
• 解决在在线设置中无法观测基数效用值时，学习结构化输出的挑战。
• 在该反馈模型下，开发具有理论 regret 边界的高效学习算法。
• 使用真实用户行为在网页搜索中验证该模型的可行性，并在实际推荐任务中评估其性能。

提出的方法

• 协同学习模型假设用户提供的改进预测 ${\bf \bar{y}}_t$ 满足 $U({\bf x}_t, {\bf \bar{y}}_t) > U({\bf x}_t, {\bf y}_t)$，即使并非最优。
• 学习算法维护一个权重向量 ${\bf w}_t$，并使用基于偏好的感知机规则进行更新，以最小化相对于最优预测的 regret。
• 对于线性效用模型，算法采用基于间隔的更新规则，根据反馈效用与预测输出之间的差异调整权重。
• 对于凸代价函数，该方法扩展为带投影梯度更新的在线凸优化，确保 $\mathcal{O}(1/\sqrt{T})$ 的 regret。
• 该模型假设用户反馈源于对可能输出子集的有界、理性搜索，反映了现实行为如点击或选择变更。
• 实验评估使用 MovieLens 数据集和网页搜索日志，比较了偏好感知机与基线排序 SVM 在不同反馈质量与噪声条件下的表现。

实验结果

研究问题

• RQ1 能否有效利用增量式、非最优的用户反馈（如点击或偏好替代项）进行在线结构化预测，而无需观测基数效用值？
• RQ2 当仅能获得偏好反馈时，在在线结构化预测中可实现的理论 regret 边界是什么？
• RQ3 在现实世界的推荐与搜索任务中，协同学习算法的性能如何随反馈质量与噪声变化而变化？
• RQ4 协同学习模型能否有效应用于排名任务与原子预测任务（如电影推荐）？
• RQ5 与传统在线学习基线（如微调后的 SVM）相比，协同学习方法在 regret 和计算成本方面表现如何？

主要发现

• 偏好感知机算法在线性效用与凸代价函数设置下均实现了 $\mathcal{O}(1/\sqrt{T})$ 的 regret，且达到匹配的下界，证实了其理论最优性。
• 在电影推荐任务中，当反馈严格满足 $\alpha$-信息性时，regret 趋近于零，且 $\alpha$ 值越高，收敛越快。
• 在基于实际用户评分的噪声反馈下，偏好感知机实现的 regret 显著低于微调后的排序 SVM，同时计算成本仅为后者的极小部分。
• 该模型在网页搜索排序与电影推荐任务中均表现出强劲的实证性能，验证了其在具有隐式反馈的真实系统中的适用性。
• 用户研究证实，基于可观测行为（如点击）的反馈在协同学习模型下是有效且可靠的信号。