[论文解读] Non-Sentential Utterances in Dialogue: Experiments in Classification and Interpretation

Paolo Dragone|arXiv (Cornell University)|Nov 22, 2015

Natural Language Processing Techniques参考文献 41被引用 3

一句话总结

本文提出了一种混合框架，通过结合监督式机器学习与概率性规则推理，实现对话中非小句话语（NSUs）的分类与解释。该框架通过增强特征和半监督学习提升NSU分类性能，随后引入类型理论与记录（TTR）的概率扩展，利用对话上下文解析NSU语义，实现对歧义性和上下文依赖性的合理处理。

ABSTRACT

Non-sentential utterances (NSUs) are utterances that lack a complete sentential form but whose meaning can be inferred from the dialogue context, such as "OK", "where?", "probably at his apartment". The interpretation of non-sentential utterances is an important problem in computational linguistics since they constitute a frequent phenomena in dialogue and they are intrinsically context-dependent. The interpretation of NSUs is the task of retrieving their full semantic content from their form and the dialogue context. The first half of this thesis is devoted to the NSU classification task. Our work builds upon Fernández et al. (2007) which present a series of machine-learning experiments on the classification of NSUs. We extended their approach with a combination of new features and semi-supervised learning techniques. The empirical results presented in this thesis show a modest but significant improvement over the state-of-the-art classification performance. The consecutive, yet independent, problem is how to infer an appropriate semantic representation of such NSUs on the basis of the dialogue context. Fernández (2006) formalizes this task in terms of "resolution rules" built on top of the Type Theory with Records (TTR). Our work is focused on the reimplementation of the resolution rules from Fernández (2006) with a probabilistic account of the dialogue state. The probabilistic rules formalism Lison (2014) is particularly suited for this task because, similarly to the framework developed by Ginzburg (2012) and Fernández (2006), it involves the specification of update rules on the variables of the dialogue state to capture the dynamics of the conversation. However, the probabilistic rules can also encode probabilistic knowledge, thereby providing a principled account of ambiguities in the NSU resolution process.

研究动机与目标

• 解决解释非小句话语（NSUs）的挑战，NSUs在对话中常见但缺乏完整的小句结构。
• 通过增强特征和半监督学习，使NSU分类性能超越现有最先进方法。
• 开发一个稳健的NSU语义解释框架，以应对上下文依赖性和歧义性。
• 通过整合概率建模，克服基于逻辑的形式化系统（如TTR）在处理对话中部分可观测性和不确定性方面的局限性。
• 提供一种基于对话状态动态的、针对NSU的概率解析规则的可行性实现。

提出的方法

• 在Fernandez（2007）先前工作的基础上，通过增加语言学和上下文特征，扩展NSU分类方法。
• 应用半监督学习技术，包括归纳支持向量机（TSVM），以在标注数据有限的情况下提升分类性能。
• 使用概率规则形式化（Lison, 2014）重新实现Fernandez（2014）的解析规则，以建模对话状态更新。
• 将概率知识整合到对话状态转移中，以表示NSU解释中的不确定性和歧义性。
• 以类型理论与记录（TTR）为基础进行对话状态建模，并通过概率推理增强以实现语义解析。
• 设计一个基于规则的系统，根据NSU输入和上下文动态更新对话状态变量，使用概率置信度分数。

实验结果

研究问题

• RQ1 通过改进特征工程和半监督学习，是否能显著提升NSU分类准确率，超越现有方法？
• RQ2 如何将基于逻辑的TTR解析规则调整以处理NSU解释中的不确定性和歧义性？
• RQ3 TTR的概率扩展在多大程度上提升了NSU语义解析的鲁棒性和准确性？
• RQ4 概率规则是否能有效建模NSU解释中依赖上下文、部分可观测的对话现象？
• RQ5 在统一框架中结合分类与概率解析后，NSU解释性能是否可实现可测量的提升？

主要发现

• 所提出的分类方法在最先进方法基础上实现了适度但统计显著的性能提升，证明了增强特征与半监督学习的有效性。
• 归纳支持向量机（TSVM）与主动学习（AL）的结合在低资源NSU分类任务中展现出更好的泛化能力。
• 概率规则形式化成功通过为可能的语义扩展分配置信度分数，捕捉了NSU解释中的歧义性。
• 该框架为建模对话中依赖上下文、非确定性的现象提供了合理方法，克服了纯逻辑TTR方法的局限性。
• 可行性实现表明，概率解析规则能够以不确定性感知的语义动态更新对话状态。
• 该方法通过结合分类与概率上下文建模，实现了对NSU（如'OK'、'where?'和'probably at his apartment'）更稳健的解释。