[论文解读] Sequential Model Selection for Word Sense Disambiguation

Ted Pedersen, Rebecca Bruce+1 more|ArXiv.org|Feb 12, 1997

Natural Language Processing Techniques参考文献 15被引用 26

一句话总结

本文提出使用可分解图模型进行序列模型选择，以解决词义消歧问题，评估了搜索策略（BSS、FSS）与准则（AIC、BIC、精确条件检验）以识别最优概率模型。结果表明，AIC 配合前向逐步搜索可获得最准确的模型，优于 BIC 和显著性检验，因其在稀疏 NLP 数据中更好地平衡了模型复杂度与参数可靠性。

ABSTRACT

Statistical models of word-sense disambiguation are often based on a small number of contextual features or on a model that is assumed to characterize the interactions among a set of features. Model selection is presented as an alternative to these approaches, where a sequential search of possible models is conducted in order to find the model that best characterizes the interactions among features. This paper expands existing model selection methodology and presents the first comparative study of model selection search strategies and evaluation criteria when applied to the problem of building probabilistic classifiers for word-sense disambiguation.

研究动机与目标

• 为解决在训练数据稀疏且倾斜时，选择可靠概率模型以进行词义消歧的挑战。
• 评估不同搜索策略（后向、前向及逐步）在遍历可分解模型空间中的有效性。
• 比较不同模型评估准则（AIC、BIC、精确条件检验）在选择最佳拟合训练数据并具有良好泛化能力的模型方面的表现。
• 确定最优的搜索策略与评估准则组合，以构建在词义消歧中准确且鲁棒的分类器。

提出的方法

• 使用可分解图模型，可通过边缘分布实现参数的闭式估计，避免迭代拟合过程。
• 应用后向逐步选择（BSS）和前向逐步选择（FSS）方法，基于模型拟合度系统地移除或添加特征交互项。
• 采用信息准则（AIC、BIC）和精确条件检验评估模型拟合度并指导模型选择。
• 利用最大似然估计（MLE）从训练数据中观测到的特征向量频率估计模型参数。
• 通过在 12 个歧义词上的准确率和召回率衡量模型性能，使用语义标注语料库进行测试。
• 在公开的 CoCo 工具中实现所有方法，用于模型选择与评估。

实验结果

研究问题

• RQ1 哪种模型选择策略——后向逐步、前向逐步或全搜索——能产生最准确的词义消歧模型？
• RQ2 不同评估准则（AIC、BIC、精确条件检验）在选择能泛化到未见数据的模型方面表现如何比较？
• RQ3 搜索策略的选择是否显著影响所选模型在词义消歧中的性能？
• RQ4 模型复杂度（由参数数量控制）在稀疏 NLP 数据中如何影响准确率与可靠性？

主要发现

• AIC 配合前向逐步搜索（FSS）始终产生最准确的模型，在准确率与召回率上均优于 BIC 和显著性检验。
• BIC 被发现移除了过多交互项，导致模型过于简单，准确率低于 AIC 选择的模型。
• 精确条件检验存在不稳定性，后向选择中移除的交互项过少，前向选择中添加的交互项过多，导致性能较差。
• FSS 配合 AIC 降低了高自由度交互项的影响，从而获得更可靠的参数估计，并在稀疏数据中实现更优的模型性能。
• 本研究证实，通过 AIC 和 FSS 进行模型选择更具鲁棒性，对参数调优不敏感，而显著性检验需设定任意的 alpha 截断值。
• 朴素贝叶斯虽然准确，但无法剔除可能无关的特征，而序列模型选择能有效消除此类特征，提升模型效率。