[论文解读] Robustness Evaluation of Two CCG, a PCFG and a Link Grammar Parsers

Tuomo Kakkonen|ArXiv.org|Jan 24, 2008

Natural Language Processing Techniques参考文献 18被引用 6

一句话总结

该论文评估了四种自然语言解析器——两种组合范畴语法（CCG）解析器、一种概率上下文无关语法（PCFG）解析器和一种链语法（Link Grammar）解析器——在噪声输入条件下的鲁棒性，特别是拼写错误情况。论文提出了两种新颖的鲁棒性度量方法，用于比较语法正确句子与受损句子的解析结果，发现随着错误数量增加，性能显著下降，其中表现最佳的解析器（C&C）在仅有一个错别字的句子中仅能保持60.8%的相同解析结果。

ABSTRACT

Robustness in a parser refers to an ability to deal with exceptional phenomena. A parser is robust if it deals with phenomena outside its normal range of inputs. This paper reports on a series of robustness evaluations of state-of-the-art parsers in which we concentrated on one aspect of robustness: its ability to parse sentences containing misspelled words. We propose two measures for robustness evaluation based on a comparison of a parser's output for grammatical input sentences and their noisy counterparts. In this paper, we use these measures to compare the overall robustness of the four evaluated parsers, and we present an analysis of the decline in parser performance with increasing error levels. Our results indicate that performance typically declines tens of percentage units when parsers are presented with texts containing misspellings. When it was tested on our purpose-built test set of 443 sentences, the best parser in the experiment (C&C parser) was able to return exactly the same parse tree for the grammatical and ungrammatical sentences for 60.8%, 34.0% and 14.9% of the sentences with one, two or three misspelled words respectively.

研究动机与目标

• 评估现代解析器在面对真实世界噪声输入（特别是拼写错误）时的鲁棒性。
• 识别最先进解析器在处理非语法但语义合理的输入时的局限性。
• 开发并验证用于衡量在输入污染条件下解析鲁棒性的新定量度量方法。
• 比较四种不同解析架构（两个CCG、一个PCFG和一个链语法解析器）的相对抗噪能力。

提出的方法

• 设计一个专门构建的测试集，包含443个句子，其拼写错误数量受控（每句一个、两个或三个错误）。
• 使用两种新颖的鲁棒性度量方法：(1) 解析器对语法正确版本和受损版本产生相同解析树的句子所占百分比；(2) 解析树之间结构相似性的归一化度量。
• 将每个解析器应用于原始语法正确的句子及其噪声变体，以收集解析输出对。
• 使用句法树比较技术对比解析输出，计算两种鲁棒性度量。
• 分析在错误数量增加（1、2、3个错别字）时的性能下降情况，以评估对噪声的敏感性。
• 由于C&C解析器在以往评估中表现优异，故将其作为基线进行比较。

实验结果

研究问题

• RQ1 当解析包含拼写错误的句子时，不同解析架构（CCG、PCFG、链语法）的表现如何？
• RQ2 同一句子的语法正确版本与受损版本之间的解析输出在多大程度上保持一致？
• RQ3 每句话中的拼写错误数量如何影响解析失败或结构变化的可能性？
• RQ4 哪些度量方法最能有效量化在输入噪声条件下的解析器鲁棒性？
• RQ5 哪种解析器架构在真实世界条件下对拼写错误表现出最高的抗噪能力？

主要发现

• 表现最佳的C&C解析器在仅有一个错别字的句子中，保持了60.8%的相同解析树。
• 当出现两个错别字时，同一解析器仅能保持34.0%的相同解析结果。
• 对于包含三个错别字的句子，相同解析一致率下降至14.9%。
• 总体而言，当面对噪声输入时，解析器性能下降了数十个百分点，表明对拼写错误具有显著敏感性。
• 鲁棒性度量成功捕捉了不同解析器类型在抗噪能力上的差异，揭示出CCG解析器在噪声条件下优于PCFG和链语法解析器。
• 本研究表明，即使高性能解析器在中等水平的输入噪声下也难以维持结构一致性。