[论文解读] Optimal Learning from Multiple Information Sources

Annie Liang, Xiaosheng Mu+1 more|arXiv (Cornell University)|Mar 18, 2017

Blind Source Separation Techniques被引用 3

一句话总结

本文研究了从多个相关正态信号中获取最优动态信息的问题，表明在特定条件下，一种短视策略——仅根据即时收益选择信号——在有限期数后变得最优。在大规模观测设置下，从第一期起短视策略即为最优，从而在广泛使用的统计框架中实现了简单且稳健的信息获取规则。

ABSTRACT

We consider the problem of optimal dynamic information acquisition from many correlated information sources. Each period, the decision-maker jointly takes an action and allocates a fixed number of observations across the available sources. His payoff depends on the actions taken and on an unknown state. In the canonical setting of jointly normal information sources, we show that the optimal dynamic information acquisition rule proceeds myopically after finitely many periods. If signals are acquired in large blocks each period, then the optimal rule turns out to be myopic from period 1. These results demonstrate the possibility of robust and simple optimal information acquisition, and simplify the analysis of dynamic information acquisition in a widely used informational environment.

研究动机与目标

• 分析在存在多个相关信号时，最优动态信息获取的机制。
• 确定最优策略变为短视（即仅依赖即时收益）的条件。
• 简化联合正态信号标准模型中动态信息获取的分析。
• 建立长期优化可简化为逐期决策的条件。

提出的方法

• 构建一个动态决策问题，其中决策者每期在相关正态信息源之间分配观测次数。
• 采用贝叶斯框架，其中信号联合服从正态分布，且未知状态影响收益。
• 在每期观测容量固定的前提下，分析最优分配规则。
• 应用动态规划技术刻画最优策略。
• 识别在有限时间后最优策略变为短视的条件，或立即变为短视的条件。
• 通过价值函数和信号相关性的结构分析，证明短视规则的最优性。

实验结果

研究问题

• RQ1 在动态多源环境中，最优信息获取策略在何种条件下会变为短视？
• RQ2 信号相关性如何影响序列信息获取中短视策略的最优性？
• RQ3 在大规模观测假设下，最优策略能否简化为逐期决策规则？
• RQ4 初始学习阶段在决定信息获取长期最优性中起什么作用？
• RQ5 信号协方差矩阵的结构是否会影响短视规则是否为最优？

主要发现

• 在联合正态设定下，最优动态信息获取规则在有限期数后变为短视。
• 当每期以大块形式获取观测时，最优规则从第一期起即为短视。
• 该结果源于联合正态分布的结构以及信号相关性的本质。
• 简化为短视规则使得动态信息获取中的决策更加稳健且计算高效。
• 研究结果表明，在特定条件下，长期优化可被逐期优化所取代。
• 该结果显著简化了在标准且广泛应用的模型中动态信息获取的分析。