[论文解读] Smoothing parameter estimation framework for IBM word alignment models

Vuong Van Bui, Cuong Anh Le|arXiv (Cornell University)|Jan 14, 2016

Natural Language Processing Techniques参考文献 18被引用 3

一句话总结

本文提出了一种用于IBM词对齐模型平滑参数估计的通用框架，通过引入可学习的信任参数，扩展了Moore（2004）的加法平滑方法，允许按词对调整平滑量。该框架通过缩放先验平滑策略的影响来提升鲁棒性，实验表明，对误差计数目标函数的平滑近似版本在对齐性能上表现最佳，优于标准似然法和离散误差计数方法。

ABSTRACT

IBM models are very important word alignment models in Machine Translation. Following the Maximum Likelihood Estimation principle to estimate their parameters, the models will easily overfit the training data when the data are sparse. While smoothing is a very popular solution in Language Model, there still lacks studies on smoothing for word alignment. In this paper, we propose a framework which generalizes the notable work Moore [2004] of applying additive smoothing to word alignment models. The framework allows developers to customize the smoothing amount for each pair of word. The added amount will be scaled appropriately by a common factor which reflects how much the framework trusts the adding strategy according to the performance on data. We also carefully examine various performance criteria and propose a smoothened version of the error count, which generally gives the best result.

研究动机与目标

• 解决因训练数据稀疏导致IBM词对齐模型过拟合的问题。
• 通过允许按词对自定义平滑量，推广Moore（2004）的加法平滑方法。
• 开发一种机制，根据开发数据上的表现动态调整对平滑策略的信任程度。
• 评估并优化用于学习平滑信任参数的客观函数，包括似然和误差计数变体。
• 提出一种连续可微的离散误差计数近似，以提升优化稳定性和性能。

提出的方法

• 在贝叶斯框架下形式化加法平滑，使用狄利克雷先验，将Moore的方法作为特例推广。
• 引入一个可学习的缩放参数λ，控制对平滑策略的整体信任程度，该参数从开发数据中学习。
• 提出一种连续可微的离散对齐误差计数（AER）近似，以实现有效的优化。
• 评估多种平滑策略：添加常数（Moore的方法）、添加源词频率计数，以及添加基于Dice系数的值。
• 使用期望最大化（EM）进行参数估计，将平滑整合到M步中，通过广义先验实现。
• 使用多种客观函数优化信任参数λ，包括对齐数据的似然和平滑误差计数。

实验结果

研究问题

• RQ1 能否设计一种通用框架，将Moore的加法平滑扩展为允许按词对调整平滑量，同时保持鲁棒性？
• RQ2 在所提框架下，不同平滑策略（常数、基于频率、基于Dice）的性能如何比较？
• RQ3 哪种客观函数最有利于优化平滑信任参数λ，连续性对性能有何影响？
• RQ4 该框架是否能在使用次优平滑策略时仍保持或提升性能？
• RQ5 与离散误差计数和基于似然的客观函数相比，平滑误差计数近似的效果如何？

主要发现

• 平滑误差计数客观函数在对齐性能上始终优于原始离散误差计数和基于似然的客观函数。
• 所提出的误差计数连续近似显著提升了优化效率，尤其在具有挑战性的场景中，AER性能得到显著改善。
• 添加常数值（即Moore的方法）在三种评估策略中表现最佳，尽管该框架允许未来发现更优方法。
• 由于自适应λ缩放机制，该框架即使在使用较差的平滑策略（如基于频率或Dice的添加）时也能稳健维持性能。
• 当缺乏标注的开发数据时，未标注数据的似然可作为合理的替代客观函数，在低资源设置中表现出潜力。
• 信任参数λ对开发集与测试集之间的数据不匹配较为敏感，通常极小的正值优于λ=0（在开发集上），但在测试集上表现较差。