[论文解读] Towards a Continuous Knowledge Learning Engine for Chatbots

Sahisnu Mazumder, Nianzu Ma+1 more|arXiv (Cornell University)|Feb 16, 2018

Topic Modeling参考文献 10被引用 24

一句话总结

该论文提出 LiLi，一种终身交互式学习与推理框架，使聊天机器人能够通过解决开放世界知识库补全（OKBC）问题，在对话过程中持续学习新知识。通过模仿人类学习方式——利用强化学习制定查询特定的推理策略，并与用户互动以获取缺失事实，LiLi 实现了显著的性能提升，未知关系上的 F1 分数最高提升 5.6%，在关键评估中优于基线模型（p<0.05），证明了其在持续学习与用户交互融合方面的有效性。

ABSTRACT

Although chatbots have been very popular in recent years, they still have some serious weaknesses which limit the scope of their applications. One major weakness is that they cannot learn new knowledge during the conversation process, i.e., their knowledge is fixed beforehand and cannot be expanded or updated during conversation. In this paper, we propose to build a general knowledge learning engine for chatbots to enable them to continuously and interactively learn new knowledge during conversations. As time goes by, they become more and more knowledgeable and better and better at learning and conversation. We model the task as an open-world knowledge base completion problem and propose a novel technique called lifelong interactive learning and inference (LiLi) to solve it. LiLi works by imitating how humans acquire knowledge and perform inference during an interactive conversation. Our experimental results show LiLi is highly promising.

研究动机与目标

• 为解决现有聊天机器人在对话过程中无法学习新知识这一关键局限，该局限限制了其长期适应性与知识增长能力。
• 将对话中的持续知识学习问题形式化为开放世界知识库补全（OKBC）问题，通过允许未知实体和关系，推广传统知识库补全（KBC）方法。
• 设计一种终身交互式学习与推理（LiLi）系统，通过动态推理策略制定与用户交互，模仿人类学习过程。
• 评估 LiLi 在现实用户交互约束条件下，提升预测性能与推理策略制定能力的有效性。
• 证明通过用户反馈的持续学习能显著提升长期知识获取与推理质量。

提出的方法

• 将对话中的知识学习问题形式化为开放世界知识库补全（OKBC）问题，允许查询三元组中包含未知实体与关系。
• 开发基于强化学习（RL）的推理策略制定模块，生成用于处理与交互动作的查询特定动作序列。
• 实现交互动作（如问题生成与用户线索获取）与处理动作（如事实选择与推理链推导）。
• 在无可用线索时，利用实体对之间的上下文相似性引入猜测机制，以预测可能的事实。
• 应用过去任务选择机制，优先从之前表现不佳的任务中学习，以提升知识迁移效果并减少灾难性遗忘。
• 使用与关系相关的阈值（μr）替代固定阈值（如 0.5），以提升对未见关系的预测准确性。

实验结果

研究问题

• RQ1 聊天机器人能否通过实时扩展知识库，在对话过程中有效学习新知识？
• RQ2 与静态或非交互式方法相比，终身交互式学习在知识库补全性能上如何提升？
• RQ3 在开放世界设置下，用户交互在多大程度上增强了系统推断未知事实的能力？
• RQ4 使用与关系相关的阈值和上下文相似性是否能提升对未知关系的预测准确性？
• RQ5 当学习新关系的同时，系统如何缓解灾难性遗忘，同时保持对已知关系的性能？

主要发现

• LiLi 在 Freebase 和 WordNet 上的整体 F1 分数均优于基线模型 Sep（p<0.1），在 Freebase 上当 β=0.05 时，p<0.05，证明了终身学习的有效性。
• 单模型基线在未知关系上的表现优于 Sep，得益于知识共享，但在已知关系上遭受灾难性遗忘，凸显了持续学习机制的必要性。
• LiLi 的关系特定阈值 μr 显著优于固定阈值 0.5，在 Freebase 上达到 p<0.05，表明其对未知关系具有更好的校准能力。
• 利用上下文相似性的猜测机制在性能上优于盲目猜测（BG），p<0.05，表明语义线索能有效提升低信息环境下的推理能力。
• 过去任务选择（PTS）机制在性能上优于无 PTS 设置，尤其在 Freebase 上（p<0.01），归因于对表现不佳任务的针对性线索获取。
• 随着线索获取率（β）的提高，性能显著提升，β=0.5 时未知关系的 F1 比 β=0.05 时高出 5.6%，表明用户反馈具有显著影响。