[论文解读] Using Subjective Logic to Estimate Uncertainty in Multi-Armed Bandit Problems

Fabio Massimo Zennaro, Audun Jøsang|arXiv (Cornell University)|Aug 17, 2020

Advanced Bandit Algorithms Research参考文献 10被引用 6

一句话总结

本文提出主观逻辑Bandit（SLB）算法，利用主观逻辑估计并区分多臂老虎机问题中的认识性不确定性和随机性不确定性。通过使用狄利克雷-多项式共轭先验建模信念更新，SLB 实现了可解释的不确定性追踪，表明不确定性动态可指导学习效率，并揭示探索何时变得不再具有信息量。

ABSTRACT

The multi-armed bandit problem is a classical decision-making problem where an agent has to learn an optimal action balancing exploration and exploitation. Properly managing this trade-off requires a correct assessment of uncertainty; in multi-armed bandits, as in other machine learning applications, it is important to distinguish between stochasticity that is inherent to the system (aleatoric uncertainty) and stochasticity that derives from the limited knowledge of the agent (epistemic uncertainty). In this paper we consider the formalism of subjective logic, a concise and expressive framework to express Dirichlet-multinomial models as subjective opinions, and we apply it to the problem of multi-armed bandits. We propose new algorithms grounded in subjective logic to tackle the multi-armed bandit problem, we compare them against classical algorithms from the literature, and we analyze the insights they provide in evaluating the dynamics of uncertainty. Our preliminary results suggest that subjective logic quantities enable useful assessment of uncertainty that may be exploited by more refined agents.

研究动机与目标

• 解决多臂老虎机问题中区分认识性（基于知识）与随机性（系统固有）不确定性的挑战。
• 开发一种基于主观逻辑的决策框架，实现在强化学习中直观且可解释的不确定性表示。
• 评估基于主观逻辑的智能体是否能在提供可操作的学习动态洞察的同时，实现具有竞争力的性能。
• 分析不确定性演化过程——特别是认识性和随机性分量——与学习进展及性能饱和的相关性。

提出的方法

• 作者使用主观逻辑建模多臂老虎机问题，将动作奖励的信念表示为具有信念、基率和不确定性分量的多项式意见。
• 主观逻辑使狄利克雷-多项式共轭先验得以应用，基于观测奖励更新信念，从而保持不确定性表示的紧凑性与可解释性。
• SLB算法根据意见的期望值选择动作，探索由意见的不确定性分量引导。
• 该方法同时追踪认识性不确定性（因证据有限而产生）与随机性不确定性（系统固有随机性），并将总不确定性表示为两者的和。
• 该方法结合从标准概率分布中采样以进行动作选择，并通过证据性狄利克雷概率密度函数进行更新。
• 在具有不同奖励方差和动作数量的多种场景下，将性能与经典算法（如ε-贪婪、UCB）进行对比评估。

实验结果

研究问题

• RQ1 主观逻辑能否有效用于估计并区分多臂老虎机问题中的认识性和随机性不确定性？
• RQ2 认识性和随机性不确定性的动态演化在不同老虎机设置中如何与学习性能和收敛性相关联？
• RQ3 基于主观逻辑的不确定性估计在多大程度上可指导决策，判断何时停止探索、何时转为利用？
• RQ4 奖励分布的结构（如方差、动作数量）如何影响SLB框架中不确定性减少的速率？
• RQ5 基于主观逻辑的智能体能否在实现具有竞争力性能的同时，提供比经典算法更可解释且更具可操作性的不确定性洞察？

主要发现

• SLB算法在与ε-贪婪、UCB等经典算法对比中表现出具有竞争力的性能，尤其在奖励方差较低的场景中表现更优。
• 在动作较少的场景中（如场景2），认识性不确定性迅速下降，这是由于动作空间有限，导致更具信息量的样本被更频繁地收集。
• 在高方差场景中（如场景4），认识性不确定性快速下降并非源于有信息量的证据，而是由于罕见的高奖励异常值，表明存在误导性不确定性减少的风险。
• 在场景3中，总不确定性降至极低水平，表明系统内在随机性较低（随机性不确定性低），与可明确识别出最优动作的结论一致。
• 在场景2中，尽管认识性不确定性持续下降，总不确定性却早期趋于平稳，表明随机性不确定性仍处于高位，暗示确定最优动作存在根本性限制。
• 不确定性演化过程——尤其是认识性不确定性的下降——可作为学习饱和的代理指标，提示进一步探索带来的收益递减。