[论文解读] The Best Decisions Are Not the Best Advice: Making Adherence-Aware Recommendations

Julien Grand-Clément, Jean Pauphilet|arXiv (Cornell University)|Sep 5, 2022

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文提出了一种适用于专家参与决策系统的遵从感知优化框架，其中人类决策者会部分偏离算法建议。通过建模人类在基线策略与算法建议之间切换的行为，该框架计算出对这类偏离具有鲁棒性的推荐策略，并在任意遵从水平下，可证明其性能优于基线策略和标准算法策略。

ABSTRACT

Many high-stake decisions follow an expert-in-loop structure in that a human operator receives recommendations from an algorithm but is the ultimate decision maker. Hence, the algorithm's recommendation may differ from the actual decision implemented in practice. However, most algorithmic recommendations are obtained by solving an optimization problem that assumes recommendations will be perfectly implemented. We propose an adherence-aware optimization framework to capture the dichotomy between the recommended and the implemented policy and analyze the impact of partial adherence on the optimal recommendation. We show that overlooking the partial adherence phenomenon, as is currently being done by most recommendation engines, can lead to arbitrarily severe performance deterioration, compared with both the current human baseline performance and what is expected by the recommendation algorithm. Our framework also provides useful tools to analyze the structure and to compute optimal recommendation policies that are naturally immune against such human deviations, and are guaranteed to improve upon the baseline policy.

研究动机与目标

• 解决现有算法推荐系统假设完全遵从的问题，而现实中专家常常偏离建议。
• 对高风险序列决策中部分遵从对系统性能的影响进行建模与量化。
• 设计一种对人类偏离具有内在鲁棒性的推荐策略，并保证其性能优于基线策略和标准算法策略。
• 提供一种可计算、结构化且灵活的优化框架，可高效计算并适配各种遵从模式。

提出的方法

• 提出一种新颖的遵从感知马尔可夫决策过程（AdaMDP），用于建模决策者在基线策略与算法建议之间切换的行为。
• 引入一种代理MDP公式，其中奖励和转移概率依赖于基线策略和遵从水平θ。
• 对可行基线策略集合施加矩形性假设，以确保最优推荐的可存在性与可计算性。
• 将遵从感知优化问题转化为经典鲁棒MDP问题，从而可通过已知算法高效求解。
• 分析最优策略相对于遵从水平的结构性质，如平稳性、确定性与单调性。
• 将框架扩展至处理状态相关、动作相关、不确定以及部分已知的基线策略。

实验结果

研究问题

• RQ1 人类决策者在专家参与系统中的部分遵从行为如何影响算法推荐的性能？
• RQ2 我们能否设计出对人类偏离具有可证明鲁棒性的推荐策略，并使其性能优于基线策略和标准算法策略？
• RQ3 在不同遵从模式下，遵从感知推荐策略具有哪些结构性与计算性特征？
• RQ4 在何种条件下，人类决策者可安全地忽略某些状态下部分遵从的问题？
• RQ5 该框架如何扩展以处理时变或不确定的遵从水平？

主要发现

• 在部分遵从条件下的最优推荐策略始终是平稳且确定的，确保了实际可实施性。
• 该框架保证最优推荐策略在任何遵从水平下均优于基线策略和标准算法策略。
• 即使人类偏离建议的情况极为罕见，若在算法设计中忽略此类偏离，也可能导致性能任意恶化，凸显了非遵从的风险。
• 最优回报随遵从水平单调递增，意味着更高的遵从度总是带来更好或相等的性能。
• 在较弱假设下，优化问题可重述为鲁棒MDP问题，当基线策略集合为凸集且紧致时，可实现高效计算。
• 该框架识别出部分遵从对推荐无影响的状态，从而可在这些情境中实现策略简化。