[论文解读] Prediction with expert evaluators' advice

Alexey Chernov, Vladimir Vovk|ArXiv.org|Feb 24, 2009

Advanced Bandit Algorithms Research参考文献 9被引用 6

一句话总结

本论文提出了一种新颖的预测框架，其中每位专家使用其自身随时间变化、可能各不相同的损失函数来评估学习者的表现。当所有损失函数均为正则且可混合时，该框架证明防御预测算法在标准设置下可实现与聚合算法相同的最优性能保证；并通过一种采用归一化权重和选择性权重更新的改进算法，将该结果扩展至专家（休眠）情形。

ABSTRACT

We introduce a new protocol for prediction with expert advice in which each expert evaluates the learner's and his own performance using a loss function that may change over time and may be different from the loss functions used by the other experts. The learner's goal is to perform better or not much worse than each expert, as evaluated by that expert, for all experts simultaneously. If the loss functions used by the experts are all proper scoring rules and all mixable, we show that the defensive forecasting algorithm enjoys the same performance guarantee as that attainable by the Aggregating Algorithm in the standard setting and known to be optimal. This result is also applied to the case of "specialist" (or "sleeping") experts. In this case, the defensive forecasting algorithm reduces to a simple modification of the Aggregating Algorithm.

研究动机与目标

• 为解决标准专家建议预测中使用单一固定损失函数进行所有比较的局限性。
• 使每位专家能够使用其个性化、随时间变化的损失函数来评估学习者。
• 在损失函数为正则且可混合时，保持与聚合算法相同的最优性能保证。
• 将该框架扩展至专家（休眠）情形，即并非所有专家在每一步都处于活跃状态。
• 提供一种改进的防御预测算法，以适应专家的可用性并维持理论性能边界。

提出的方法

• 提出一种新协议，其中每位专家使用其自身的损失函数评估学习者表现，该损失函数可随时间变化且在不同专家间可能不同。
• 应用防御预测算法，该算法基于专家预测的加权组合选择预测，使用归一化权重。
• 使用一个替换函数 Σ，确保学习者预测在损失指数的凸性条件下成立，该条件源自可混合性。
• 对于专家（休眠）情形，算法仅根据学习者与专家损失之间的差异，对当前活跃的专家更新权重。
• 在每一步中仅使用当前活跃的专家对权重进行归一化，以保持预测规则的一致性。
• 基于可混合参数 η 构建性能保证，确保学习者的累积损失始终在每个专家损失的 1/η ln N 范围内。

实验结果

研究问题

• RQ1 当每位专家使用其自身独特且随时间变化的损失函数评估学习者时，学习者能否实现与每位专家相当的性能？
• RQ2 当损失函数为正则且可混合但未必在所有专家间一致时，防御预测算法是否仍能保持与聚合算法相同的最优性能保证？
• RQ3 如何调整该框架以处理专家（休眠）情形，即每一步仅有一部分专家处于活跃状态？
• RQ4 为在专家不活跃的情况下维持理论性能边界，防御预测算法需要进行哪些修改？
• RQ5 当损失函数为正则评分规则且可混合，即使在专家间存在差异时，防御预测算法的性能保证是否仍然成立？

主要发现

• 防御预测算法在标准设置下实现了与聚合算法相同的性能保证，学习者的累积损失满足 L_t ≤ L_t^n + (1/η) ln N 对所有专家 n 和所有 t 成立。
• 该保证在所有专家使用的损失函数均为正则评分规则且 η-可混合时成立，确保在新协议下实现最优性能。
• 对于专家（休眠）情形，防御预测算法简化为一种改进版本，仅对活跃专家更新权重，同时保持性能边界。
• 算法使用归一化权重 u_t^n = w_t^n / sum_{n∈A_t} w_t^n，以确保预测规则在时间步之间保持一致。
• 权重更新规则 w_t^n := w_{t-1}^n exp(η(λ(π_t, ω_t) - λ(γ_t^n, ω_t))) 确保表现更优的专家（相对于学习者）获得更高权重，而表现较差的专家则失去权重。
• 该框架可推广至非二元结果、任意预测空间以及可数个专家，前提是底层防御预测方法适用。