[论文解读] Transformation of Wiktionary entry structure into tables and relations in a relational database schema

Andrew Krizhanovsky|arXiv (Cornell University)|Nov 5, 2010

Natural Language Processing Techniques参考文献 15被引用 13

一句话总结

本文提出一种方法，可自动从维基词典中提取并结构化多语言词汇数据，将其转换为关系数据库模式，将非结构化文本条目转化为标准化的定义、语义关系和翻译表格。通过使用自定义的开源解析器（GPL 许可），该方法能够以高保真度实现对英文和俄文维基词典的机器可读词典（MRD）构建，遵循维基词典的层级格式规则。

ABSTRACT

This paper addresses the question of automatic data extraction from the Wiktionary, which is a multilingual and multifunctional dictionary. Wiktionary is a collaborative project working on the same principles as the Wikipedia. The Wiktionary entry is a plain text from the text processing point of view. Wiktionary guidelines prescribe the entry layout and rules, which should be followed by editors of the dictionary. The presence of the structure of a Wiktionary article and formatting rules allows transforming the Wiktionary entry structure into tables and relations in a relational database schema, which is a part of a machine-readable dictionary (MRD). The paper describes how the flat text of the Wiktionary entry was extracted, converted, and stored in the specially designed relational database. The MRD contains the definitions, semantic relations, and translations extracted from the English and Russian Wiktionaries. The parser software is released under the open source license agreement (GPL), to facilitate its dissemination, modification and upgrades, to draw researchers and programmers into parsing other Wiktionaries, not only Russian and English.

研究动机与目标

• 解决从非结构化维基词典文本条目中提取结构化词汇数据的挑战。
• 设计一种关系数据库模式，准确建模维基词典的层级与语义结构。
• 实现对维基词典中定义、语义关系和翻译的机器可读访问。
• 支持可扩展性，以解析除英语和俄语外的其他维基词典语言版本。
• 将解析器以 GPL 协议发布，以鼓励社区开发，并将其集成到自然语言处理（NLP）流水线中。

提出的方法

• 使用基于规则的文本提取引擎解析原始维基词典页面内容，尊重维基词典的标记语法与章节划分惯例。
• 识别并从文本中提取结构化组件，如词性、定义、变体形式、翻译和语义关系。
• 将提取的组件映射到规范化的关系表（如 'definitions'、'translations'、'semantic_relations'）中，并建立外键关系。
• 采用分层解析策略处理嵌套章节（如每个词的多个义项），以保持语义上下文。
• 使用正则表达式和上下文感知的模式匹配技术，检测并分类维基词典标记中的语言学元素。
• 将结果数据存储在为高效查询和与 NLP 系统集成而设计的规范化关系数据库模式中。

实验结果

研究问题

• RQ1 如何系统性地将维基词典条目的非结构化纯文本格式转换为规范化的关系数据库模式？
• RQ2 哪些解析规则和启发式方法在从维基词典标记中提取定义、翻译和语义关系方面是有效的？
• RQ3 所生成的数据库模式在多大程度上能够保持原始维基词典条目的语义与结构完整性？
• RQ4 该解析器能否泛化以支持除英语和俄语外的其他维基词典语言版本？
• RQ5 在自然语言处理研究中，使用开源 GPL 许可解析器进行词汇数据提取的实际影响是什么？

主要发现

• 解析器成功从英文和俄文维基词典条目中提取了定义、语义关系和翻译，且结构保真度高。
• 关系模式有效建模了复杂的维基词典条目结构，包括多义项和交叉引用。
• 基于规则的方法结合模式匹配，即使在格式多变的情况下，也能准确识别语言学组件。
• 以 GPL 协议开源发布解析器，促进了社区采纳，并被用于其他语言维基词典的适配。
• 生成的机器可读词典支持高效查询，并可轻松集成到下游 NLP 应用中，如词义消歧和翻译系统。
• 该方法在多语言词汇资源中表现出可扩展性和可重用性，尤其在低资源语言环境下表现突出。