[论文解读] Training and Scaling Preference Functions for Disambiguation

Hiyan Alshawi, David Carter|ArXiv.org|Aug 24, 1994

Natural Language Processing Techniques参考文献 21被引用 69

一句话总结

本文提出了一种自动化方法，通过最小二乘优化结合爬山法，学习语义消歧中偏好函数的最优缩放因子，显著优于人工调优的权重。此外，研究发现基于词义间平均距离的语义搭配函数可将消歧错误率从约30%降至约10%，优于基于互信息和似然比的函数。

ABSTRACT

We present an automatic method for weighting the contributions of preference functions used in disambiguation. Initial scaling factors are derived as the solution to a least-squares minimization problem, and improvements are then made by hill-climbing. The method is applied to disambiguating sentences in the ATIS (Air Travel Information System) corpus, and the performance of the resulting scaling factors is compared with hand-tuned factors. We then focus on one class of preference function, those based on semantic lexical collocations. Experimental results are presented showing that such functions vary considerably in selecting correct analyses. In particular we define a function that performs significantly better than ones based on mutual information and likelihood ratios of lexical associations.

研究动机与目标

• 自动化选择语义消歧中偏好函数的缩放因子，避免专家人工调优。
• 评估自动学习的缩放因子是否能在消歧性能上超越人工调优的版本。
• 比较不同语义搭配函数在提升消歧准确率方面的有效性。
• 确定搭配函数在与其他偏好函数结合时的表现是否优于孤立使用。
• 探索该方法在其他NLP任务（如语音识别和机器翻译）中的扩展潜力。

提出的方法

• 初始缩放因子通过最小化训练集中预测结果与实际偏好分析之间误差的最小二乘法获得。
• 通过爬山法对初始解进行优化，基于保留测试集上的性能迭代改进缩放因子。
• 使用来自ATIS领域的转录语音句子语料库评估偏好函数，正确分析结果源自骨架短语结构树。
• 定义了多种语义搭配函数，包括基于互信息、卡方统计量以及词义间平均距离的函数。
• 通过不同缩放因子配置下正确分析选择的百分比来衡量每种函数的性能。
• 通过将自动学习的缩放因子与人工调优的版本在相同评估指标下进行比较，验证该方法。

实验结果

研究问题

• RQ1 能否通过自动化方法学习偏好函数的缩放因子，实现优于人工调优的消歧性能？
• RQ2 不同形式的语义搭配函数在提升消歧准确率方面表现如何比较？
• RQ3 搭配函数的性能是否依赖于其与其他偏好函数的交互作用，还是在孤立状态下表现一致？
• RQ4 基于短语结构树的简单训练得分能否为复杂消歧任务生成有效的缩放因子？
• RQ5 基于互信息等统计度量的搭配函数与基于语义空间中距离的搭配函数之间是否存在显著性能差距？

主要发现

• 通过最小二乘法获得并经爬山法优化的自动学习缩放因子，在消歧准确率上显著优于人工调优的因子。
• 当与其他偏好函数结合使用时，平均距离搭配函数实现了94.3%的正确分析率，将错误率从约30%降至10%。
• 在相同上下文中，平均距离函数显著优于基于互信息和卡方统计的搭配函数。
• 搭配函数的性能具有上下文依赖性：当与其他偏好函数结合时，平均距离函数相对于其他函数的优势依然显著，但其他函数之间的差距缩小。
• 表现最佳的搭配函数（平均距离）被选为默认函数，纳入最终的偏好函数集合。
• 该方法具有可扩展性，已在语音识别任务中成功应用，并可扩展至机器翻译和低资源领域，通过聚类技术应对数据稀疏性问题。