[论文解读] The TreeBanker: a Tool for Supervised Training of Parsed Corpora

David Carter|ArXiv.org|May 7, 1997

Natural Language Processing Techniques参考文献 13被引用 15

一句话总结

TreeBanker 是一种图形化工具，使语言学意识强的非专家能够通过判断句法和语义分析的区分性特征，而非完整句法分析，高效训练语言理解系统中的消歧。该工具将 20,000 个句子语料的标注时间减少至约三周，每小时可处理 170 个句子，且专家参与极少，并支持 Core Language Engine 等系统的领域定制。

ABSTRACT

I describe the TreeBanker, a graphical tool for the supervised training involved in domain customization of the disambiguation component of a speech- or language-understanding system. The TreeBanker presents a user, who need not be a system expert, with a range of properties that distinguish competing analyses for an utterance and that are relatively easy to judge. This allows training on a corpus to be completed in far less time, and with far less expertise, than would be needed if analyses were inspected directly: it becomes possible for a corpus of about 20,000 sentences of the complexity of those in the ATIS corpus to be judged in around three weeks of work by a linguistically aware non-expert.

研究动机与目标

• 减少训练语音与语言理解系统中消歧组件所需的时间与专业知识。
• 使非专家用户能够通过聚焦于易于理解的特征而非复杂语言学分析，执行监督式训练。
• 通过使用来自新应用领域（如 ATIS 或 NAB）的语料，支持 Core Language Engine (CLE) 的领域定制。
• 通过自动化提取和使用语言分析中的区分性特征，最大限度减少对专家干预的依赖。
• 提供一种可扩展、可重用的框架，用于在多种语言和领域中训练消歧系统。

提出的方法

• TreeBanker 从 QLF（准逻辑形式）及其相关句法树中提取区分性特征，如词义选择、修饰语依附关系和量词作用域。
• 它通过用户友好的图形界面呈现这些特征，使用户能够在不理解完整形式化体系的情况下，选择最合理的分析。
• 系统仅存储特征和用户判断结果，不保存原始 QLF，从而实现高效的数据管理与复用。
• 它支持对具有相同词性序列的句子进行判断传播，减少重复标注。
• 它包含错误检测功能，可识别具有异常区分值的句子，辅助专家审查。
• 它与 CLE 集成，支持在语法开发过程中实时测试句子并可视化分析输出。

实验结果

研究问题

• RQ1 非专家用户是否能通过聚焦一组区分性特征而非完整句法-语义分析，可靠地判断语言消歧？
• RQ2 与传统手工标注相比，使用基于特征的界面在标注已标注语料时，能在多大程度上缩短标注时间？
• RQ3 TreeBanker 在多大程度上能有效减少专家参与，同时保持高质量的消歧训练数据？
• RQ4 该系统能否在不同领域和语言（如 ATIS、NAB、瑞典语和法语）之间实现泛化？
• RQ5 使用与上下文无关的特征如何影响真实世界领域中的消歧性能？

主要发现

• 经过几天的练习，具备语言学意识的非专家用户每小时可判断约 40 个句子，熟练后可提升至每小时 170 个句子。
• 使用 TreeBanker 对 20,000 个句子（ATIS 复杂度）的语料进行标注，约需三个人周，远快于传统方法。
• 该系统将专家参与减少至少于 1% 的句子，主要集中在边界情况或质量检查上。
• 通过在具有相同词性序列的句子之间传播判断结果，有效减少了对相似模式的重复分析工作量。
• 即使使用与上下文无关的特征，TreeBanker 的方法依然有效，因为 ATIS 等类似领域中的领域约束通常能固定上下文歧义。
• 该工具已成功应用于多种语言，包括瑞典语和法语，证明其在英语之外的可泛化性。