[论文解读] Using the Web as an Implicit Training Set: Application to Noun Compound Syntax and Semantics

Preslav Nakov|arXiv (Cornell University)|Nov 23, 2019

Natural Language Processing Techniques被引用 8

一句话总结

本文提出利用网络作为隐式训练数据集，通过利用搜索引擎查询结果中的表面特征、同义表达和频率估计，来提升名词复合词的解析与语义理解。该方法在无监督名词复合词加括号处理任务中达到最先进性能，并支持语义同义表达，适用于机器翻译、信息检索和问答系统等应用。

ABSTRACT

An important characteristic of English written text is the abundance of noun compounds - sequences of nouns acting as a single noun, e.g., colon cancer tumor suppressor protein. While eventually mastered by domain experts, their interpretation poses a major challenge for automated analysis. Understanding noun compounds' syntax and semantics is important for many natural language applications, including question answering, machine translation, information retrieval, and information extraction. I address the problem of noun compounds syntax by means of novel, highly accurate unsupervised and lightly supervised algorithms using the Web as a corpus and search engines as interfaces to that corpus. Traditionally the Web has been viewed as a source of page hit counts, used as an estimate for n-gram word frequencies. I extend this approach by introducing novel surface features and paraphrases, which yield state-of-the-art results for the task of noun compound bracketing. I also show how these kinds of features can be applied to other structural ambiguity problems, like prepositional phrase attachment and noun phrase coordination. I address noun compound semantics by automatically generating paraphrasing verbs and prepositions that make explicit the hidden semantic relations between the nouns in a noun compound. I also demonstrate how these paraphrasing verbs can be used to solve various relational similarity problems, and how paraphrasing noun compounds can improve machine translation.

研究动机与目标

• 解决英语中句法和语义复杂的名词复合词解析与理解问题，此类复合词在科技和学术文本中极为常见。
• 通过将网络作为隐式大规模语料库，克服名词复合词语法与语义标注训练数据不足的问题。
• 开发无监督和轻度监督方法，利用搜索引擎接口提取表面特征、同义表达和频率估计，以提升解析与语义理解性能。
• 通过生成名词复合词的有意义同义表达，支持问答系统、信息检索和机器翻译等应用。
• 证明网络衍生特征与同义表达可解决结构歧义问题，并提升关系相似度与翻译质量。

提出的方法

• 将搜索引擎的搜索结果数量作为n-gram频率的代理指标，将网络视为大规模隐式语料库，用于无监督学习。
• 提出新型网络衍生表面特征，如连字符、所有格标记、内部大写字母、嵌入斜杠和括号，以提升加括号准确率。
• 开发同义表达模式（如“be produced by”、“be used for”），以建模复合词中名词之间的隐藏语义关系。
• 应用点互信息（PMI）和卡方检验得分，衡量词语与特征之间的关联性，增强特征选择效果。
• 使用通配符查询和反向邻接模型，捕捉非相邻或顺序颠倒的名词复合词结构。
• 将基于频率的特征与同义表达模式结合，训练无需人工标注即可预测正确加括号和语义关系的模型。

实验结果

研究问题

• RQ1 网络能否作为名词复合词语法与语义无监督训练数据的有效、可扩展且无需标注的来源？
• RQ2 与传统n-gram模型相比，网络衍生的表面特征与同义表达模式在提升名词复合词加括号准确率方面表现如何？
• RQ3 自动生成的同义表达动词与介词在多大程度上能改善名词复合词的关系相似度与语义理解？
• RQ4 网络衍生特征与同义表达能否提升未知名词复合词的机器翻译系统性能？
• RQ5 网络搜索结果数量估计在语言学任务中是否稳定可靠？其主要噪声与不一致性来源是什么？

主要发现

• 所提方法在无监督名词复合词加括号任务中达到最先进性能，显著优于传统n-gram与依存语法模型。
• 网络衍生的表面特征（如连字符、所有格标记、括号）通过捕捉原始文本中缺失的句法线索，显著提升加括号准确率。
• 同义表达模式（如“be produced by”、“be used for”）成功建模复合词中名词间的语义关系，支持语义理解与关系相似度计算。
• 使用同义表达动词可提升机器翻译性能，实现对未知名词复合词的同义表达，例如将“WTO Geneva headquarters”转化为“Geneva headquarters of the WTO”。
• 尽管搜索结果数量估计存在稳定性限制，但网络衍生特征在不同搜索引擎和时间跨度上仍表现稳健，尤其在结合置信区间与过滤机制后效果更佳。
• 该方法可推广至其他结构歧义问题，如介词短语依附与名词短语并列，展现出广泛适用性。