[论文解读] Resolving Intent Ambiguities by Retrieving Discriminative Clarifying Questions

Kaustubh Dhole|arXiv (Cornell University)|Aug 17, 2020

Speech and dialogue systems被引用 5

一句话总结

本文提出一种基于规则的方法，通过句子级问题生成器和基于相似度的选择机制，自动生成具有区分性的澄清问题，以解决任务导向对话系统中的意图模糊问题。该方法在无需标注澄清数据的情况下，将意图分类的F1得分提升了3–4%，从而减少了对直接一对一意图映射的依赖，使用户交互更加自然和互动。

ABSTRACT

Task oriented Dialogue Systems generally employ intent detection systems in order to map user queries to a set of pre-defined intents. However, user queries appearing in natural language can be easily ambiguous and hence such a direct mapping might not be straightforward harming intent detection and eventually the overall performance of a dialogue system. Moreover, acquiring domain-specific clarification questions is costly. In order to disambiguate queries which are ambiguous between two intents, we propose a novel method of generating discriminative questions using a simple rule based system which can take advantage of any question generation system without requiring annotated data of clarification questions. Our approach aims at discrimination between two intents but can be easily extended to clarification over multiple intents. Seeking clarification from the user to classify user intents not only helps understand the user intent effectively, but also reduces the roboticity of the conversation and makes the interaction considerably natural.

研究动机与目标

• 解决任务导向对话系统中用户查询无法直接映射到预定义意图的意图模糊问题。
• 通过自动化生成领域特定的澄清问题，减少对昂贵的手动创建澄清问题的需求。
• 通过用户交互将顶层1分类问题转化为顶层k分类问题，从而提高意图分类的准确性。
• 通过引入交互式澄清而非僵化的意图匹配，提升对话的自然性。
• 通过将澄清生成与现有意图分类器解耦，实现低耦合度的生产系统部署。

提出的方法

• 训练BiLSTM和线性SVM分类器，以预测模糊查询的前两名意图概率。
• 使用基于阈值的模糊检测机制，结合置信度分数识别模糊情况。
• 应用Softmax校准以改善前两名预测意图之间的置信度分离，减少误报。
• 使用现有的句到句问题生成（QG）模型生成候选澄清问题。
• 通过模糊查询与每个候选问题之间的句子相似度度量，选择最具区分性的问题。
• 当QG覆盖不足时（特别是常见动词或低覆盖率短语），使用基于规则的模板系统对问题进行优化。

实验结果

研究问题

• RQ1 基于规则的系统是否能在无需标注澄清数据的情况下，有效生成具有区分性的澄清问题？
• RQ2 生成澄清问题在模糊情况下对意图分类性能的提升程度如何？
• RQ3 置信度校准在多大程度上提升了意图分类中模糊检测的可靠性？
• RQ4 结合QG与模板生成方法对生成的澄清问题的覆盖率和质量有何影响？
• RQ5 所提出的方法是否能以最小的集成开销在生产系统中部署？

主要发现

• 当阈值 $ t_2 = 0.3 $ 时，该方法在1068个测试用例中成功识别出线性SVM的前两名意图共839例，BiLSTM为709例。
• Softmax校准显著改善了前两名意图预测之间的置信度分离，减少了模糊检测中的误报。
• 通过引入基于澄清的消歧机制，该方法使BiLSTM的F1得分提升约4%，线性SVM提升约3%。
• MTurk评估显示，生成的问题在5分制下语法正确性得分为3.84，相关性得分为4.17，接近SynQG基准的表现。
• 纯QG方法的覆盖率仅为34%，主要因缺少常见动词或问题对不足，凸显了模板增强的必要性。
• 该方法通过将澄清逻辑与意图检测流水线解耦，可实现与现有意图分类器集成的生产系统快速部署。