[论文解读] Reasoning About Beliefs and Actions Under Computational Resource Constraints

Eric Horvitz|arXiv (Cornell University)|Mar 27, 2013

Bayesian Modeling and Causal Inference被引用 48

一句话总结

本文提出了一种决策理论框架，用于在不确定性下的信念与行动推理中管理计算资源约束。通过建模近似策略的成本与收益，并利用基于效用的权衡，该框架通过动态控制推理质量和时机，实现了实时理性。

ABSTRACT

Although many investigators affirm a desire to build reasoning systems that behave consistently with the axiomatic basis defined by probability theory and utility theory, limited resources for engineering and computation can make a complete normative analysis impossible. We attempt to move discussion beyond the debate over the scope of problems that can be handled effectively to cases where it is clear that there are insufficient computational resources to perform an analysis deemed as complete. Under these conditions, we stress the importance of considering the expected costs and benefits of applying alternative approximation procedures and heuristics for computation and knowledge acquisition. We discuss how knowledge about the structure of user utility can be used to control value tradeoffs for tailoring inference to alternative contexts. We address the notion of real-time rationality, focusing on the application of knowledge about the expected timewise-refinement abilities of reasoning strategies to balance the benefits of additional computation with the costs of acting with a partial result. We discuss the benefits of applying decision theory to control the solution of difficult problems given limitations and uncertainty in reasoning resources.

研究动机与目标

• 解决在严重计算约束下进行规范性推理的挑战，此时完整的贝叶斯分析不可行。
• 将关注点从‘规范性推理是否可能’转变为‘在资源有限的情况下如何最优地近似它’。
• 开发一个利用效用知识指导计算成本、准确性与及时性之间权衡的框架。
• 通过评估随时间推移额外计算的期望价值，形式化实时理性。
• 实现自适应推理策略，动态平衡改进的收益与延迟的成本。

提出的方法

• 使用决策理论形式化在资源约束下的推理，以评估不同推理策略的期望效用。
• 引入对近似过程的成本-收益分析，权衡计算投入与信念准确度的预期提升。
• 对信念的时间细化过程进行建模，以指导何时停止或继续计算的决策。
• 使用效用函数根据具体情境定制推理行为，优先选择能最大化期望效用的行动。
• 应用动态规划与期望效用最大化，选择推理过程中最优的停止点。
• 整合用户效用结构的知识，以指导信念更新与行动选择中的启发式决策。

实验结果

研究问题

• RQ1 当完整规范性分析在计算上不可行时，推理系统如何做出最优决策？
• RQ2 在资源约束下，应依据何种标准选择近似方法？
• RQ3 如何量化额外计算的期望价值，并用于控制推理时机？
• RQ4 在不同情境中，如何利用效用结构优先选择推理策略？
• RQ5 如何通过平衡计算成本与改进信念的价值，实现实时理性？

主要发现

• 持续计算的期望效用可以建模，并用于确定推理中的最优停止点。
• 启发式方法和近似方法可基于其成本-收益权衡系统性地评估，实现在约束下的理性选择。
• 通过估计随时间推移的改进价值并将其与计算成本平衡，可实现实时理性。
• 基于效用的控制使推理能够根据具体情境优先级进行定制，从而在资源限制下提升决策质量。
• 该框架可实现推理策略的动态适应，确保在进一步计算的期望价值不再足以证明延迟合理的时刻做出决策。
• 该方法通过将启发式方法建立在决策理论原则之上，为非系统性启发式方法提供了原则性替代方案。