[论文解读] Towards Better Response Times and Higher-Quality Queries in Interactive Knowledge Base Debugging

Patrick Rodler|arXiv (Cornell University)|Sep 8, 2016

Machine Learning and Algorithms参考文献 19被引用 14

一句话总结

本文提出了一种无需推理器的三阶段启发式框架，用于交互式知识库调试，能够在极少推理开销的情况下生成高质量查询。通过利用标准查询和命中集树搜索，该方法在不依赖逻辑推理器的情况下实现了最优查询质量与用户友好性，显著降低了响应时间，并相较于现有方法提升了查询的可理解性。

ABSTRACT

Many AI applications rely on knowledge encoded in a locigal knowledge base (KB). The most essential benefit of such logical KBs is the opportunity to perform automatic reasoning which however requires a KB to meet some minimal quality criteria such as consistency. Without adequate tool assistance, the task of resolving such violated quality criteria in a KB can be extremely hard, especially when the problematic KB is large and complex. To this end, interactive KB debuggers have been introduced which ask a user queries whether certain statements must or must not hold in the intended domain. The given answers help to gradually restrict the search space for KB repairs. Existing interactive debuggers often rely on a pool-based strategy for query computation. A pool of query candidates is precomputed, from which the best candidate according to some query quality criterion is selected to be shown to the user. This often leads to the generation of many unnecessary query candidates and thus to a high number of expensive calls to logical reasoning services. We tackle this issue by an in-depth mathematical analysis of diverse real-valued active learning query selection measures in order to determine qualitative criteria that make a query favorable. These criteria are the key to devising efficient heuristic query search methods. The proposed methods enable for the first time a completely reasoner-free query generation for interactive KB debugging while at the same time guaranteeing optimality conditions, e.g. minimal cardinality or best understandability for the user, of the generated query that existing methods cannot realize. Further, we study different relations between active learning measures. The obtained picture gives a hint about which measures are more favorable in which situation or which measures always lead to the same outcomes, based on given types of queries.

研究动机与目标

• 解决因昂贵的推理调用和启发式效率低下导致的交互式KB调试中响应时间过高和查询质量差的问题。
• 在查询生成过程中消除对逻辑推理器的依赖，同时保持或提升查询的最优性。
• 开发一种方法，从等价候选查询中选择最易理解且最简化的查询。
• 通过三阶段流程（q-划分搜索、命中集树搜索、查询增强/最小化）实现高效且最优的查询计算。
• 确保信息增益等查询质量度量得到优化，同时保持用户友好性和逻辑一致性。

提出的方法

• 引入标准查询作为无需推理器的查询生成基础，实现无需推理调用的理论最优性保证。
• 采用基于定性标准的启发式方法，对q-划分进行深度优先、局部最优优先的回溯搜索，以找到最优划分。
• 使用命中集树搜索从标准q-划分中提取最佳查询，支持基于基数和可理解性等标准的最优优先排序。
• 通过预定义的简单逻辑形式（例如，蕴含关系）实施查询增强步骤，这些形式在逻辑上依赖于基础查询，仅需两次推理调用。
• 实施一种修改后的查询最小化策略，优先移除复杂语句并保留易于理解的语句，从而确保用户努力最小化。
• 确保在增强和最小化过程中q-划分保持不变，从而在所选度量下保持原始查询质量。

实验结果

研究问题

• RQ1 是否可以在不依赖逻辑推理服务的情况下实现交互式KB调试中的查询生成，同时保持或提升查询质量？
• RQ2 如何有效调整命中集树搜索，以从KB调试中等价候选查询中选择最易理解或最简化的查询？
• RQ3 哪些标准可确保查询增强过程在给定质量度量下保持查询的最优性？
• RQ4 如何修改查询最小化过程，以优先考虑用户友好性，同时保持逻辑正确性？
• RQ5 在KB调试中，不同主动学习度量之间存在何种关系？在特定条件下，哪些度量更优？

主要发现

• 该方法首次实现了完全无需推理器的查询生成，消除了查询计算过程中对推理调用的需求。
• 该框架保证所生成的查询在给定查询质量度量（如信息增益）下达到最优，而现有方法无法保证这一点。
• 命中集树搜索支持基于基数最小化或可理解性最佳等次级标准的最优优先查询选择，这是先前方法所不具备的能力。
• 查询增强和优化步骤仅需多项式数量的推理调用，具体为增强步骤仅需两次，最小化步骤需多项式数量。
• 该方法确保查询增强不会改变底层q-划分，从而在所选质量度量下保持查询的最优性。
• 理论分析证实，修改后的最小化策略在合理假设下可找到用户难度最小的查询，从而提升可用性。