[论文解读] Theory Refinement on Bayesian Networks

Wray Buntine|arXiv (Cornell University)|Mar 20, 2013

Bayesian Modeling and Causal Inference被引用 9

一句话总结

本文提出了一种贝叶斯网络的增量理论修正框架，支持在不确定性下自动且结合专家干预地更新领域理论。通过维护多种备选理论的内部表示，并利用数据逐步优化这些理论，该方法将批处理学习算法扩展至支持批处理和在线学习两种模式，为动态环境中的信念修正提供了稳健机制。

ABSTRACT

Theory refinement is the task of updating a domain theory in the light of new cases, to be done automatically or with some expert assistance. The problem of theory refinement under uncertainty is reviewed here in the context of Bayesian statistics, a theory of belief revision. The problem is reduced to an incremental learning task as follows: the learning system is initially primed with a partial theory supplied by a domain expert, and thereafter maintains its own internal representation of alternative theories which is able to be interrogated by the domain expert and able to be incrementally refined from data. Algorithms for refinement of Bayesian networks are presented to illustrate what is meant by "partial theory", "alternative theory representation", etc. The algorithms are an incremental variant of batch learning algorithms from the literature so can work well in batch and incremental mode.

研究动机与目标

• 为在新数据出现时更新领域理论，同时保持对不确定性的感知推理，解决该挑战。
• 通过数据实现贝叶斯网络的增量优化，而非仅依赖批处理学习。
• 通过维护并查询备选理论的表示，支持专家交互。
• 将理论修正形式化为贝叶斯统计中的信念修正过程。
• 开发在理论和实际应用中均有效的算法，适用于现实世界的学习场景。

提出的方法

• 该方法从领域专家提供的部分理论开始，以贝叶斯网络形式编码。
• 维护多个备选理论的内部表示，以支持模型结构的不确定性。
• 系统利用新数据逐步更新理论，动态调整网络结构与参数。
• 采用文献中批处理学习算法的增量变体，支持批处理与在线学习两种模式。
• 通过贝叶斯更新，基于观测数据修正对网络结构与参数的信念。
• 通过允许对内部理论表示进行查询，将专家反馈整合进来，以指导优化。

实验结果

研究问题

• RQ1 如何在保持不确定性感知的前提下，逐步优化贝叶斯网络以整合新数据？
• RQ2 在优化过程中，如何有效表示并维护多个备选理论？
• RQ3 如何将专家知识整合到理论优化过程中？
• RQ4 能否从现有批处理方法中推导出贝叶斯网络的增量学习算法？
• RQ5 在信念修正中保持备选理论表示，具有哪些计算与表示优势？

主要发现

• 所提出的框架成功支持贝叶斯网络的增量学习，可在新数据持续到达时实现持续优化。
• 该方法维护备选理论的表示，支持对不确定性的感知模型更新。
• 算法在批处理与增量学习模式下均表现有效，具有坚实的理论基础。
• 通过可查询的内部模型支持专家交互，显著提升了系统的实用性。
• 该方法为不确定性下的信念修正提供了原则性机制，与贝叶斯统计保持一致。
• 该框架将现有批处理学习算法扩展至增量学习场景，同时保持其理论特性。