[论文解读] Utilizing the World Wide Web as an Encyclopedia: Extracting Term Descriptions from Semi-Structured Texts

Atsushi Fujii, Tetsuya Ishikawa|ArXiv.org|Nov 2, 2000

Natural Language Processing Techniques参考文献 6被引用 4

一句话总结

本文提出一种方法，利用语言模式和HTML结构从万维网上自动提取并总结技术术语描述。通过结合基于自然语言处理的提取方法与基于HTML结构的提取方法、语言模型进行过滤，以及分层贝叶斯聚类进行总结，该系统在识别相关描述方面实现了67.9%的准确率，平均仅需两个代表性描述即可使用户理解术语。

ABSTRACT

In this paper, we propose a method to extract descriptions of technical terms from Web pages in order to utilize the World Wide Web as an encyclopedia. We use linguistic patterns and HTML text structures to extract text fragments containing term descriptions. We also use a language model to discard extraneous descriptions, and a clustering method to summarize resultant descriptions. We show the effectiveness of our method by way of experiments.

研究动机与目标

• 为解决传统百科全书制作成本高且常滞后的问题，利用万维网动态且庞大的内容作为实时术语描述来源。
• 从半结构化的网页中自动提取准确且有意义的技术术语描述，克服原始网络内容固有的噪声和冗余。
• 通过将多个提取的描述聚类为不同观点或词义的独立簇，提升可用性，减少冗余。
• 评估结合语言模式、HTML结构、语言模型和聚类技术在实际、可扩展的基于网络的百科全书构建框架中的有效性。

提出的方法

• 系统使用基于自然语言处理的语言模式和基于HTML结构的启发式方法，从网页中识别包含术语描述的候选文本片段。
• 预处理步骤移除无关元素，如HTML标签、多余空白字符以及电子邮件地址等非语言内容，以标准化输入。
• 基于三元语言模型的过滤机制通过衡量文本片段的语言合理性，剔除非语言或噪声片段，仅保留可能具有意义的描述。
• 使用HBC（分层贝叶斯聚类）方法对单个术语的提取描述进行聚类，以分组相似描述并识别代表性描述。
• 系统支持后台索引（定期更新）和动态按需提取，使用户能够实时访问描述。
• 每个簇的代表性描述将呈现给用户，确保涵盖不同观点和词义，同时最小化冗余。

实验结果

研究问题

• RQ1 能否有效结合HTML中的语言模式和结构特征，从半结构化的网页中提取术语描述？
• RQ2 语言模型在通过剔除非语言或无关片段来提升描述提取准确率方面，其作用程度如何？
• RQ3 对提取的描述进行聚类，能否有效分组相似描述并代表不同的观点或词义？
• RQ4 该系统在检索对技术术语有用且可理解的描述方面的整体准确率如何？

主要发现

• 基于NLP/HTML的方法初始提取准确率达到63.5%，证明了从网络内容中基于模式提取的可行性。
• 引入基于三元语言模型后，准确率提升至67.9%，有效降低了噪声并提升了提取描述的质量。
• HBC聚类方法成功实现了描述总结，其中66.7%的呈现代表性描述是正确的，表明其能有效按观点或词义分组。
• 系统正确识别了术语'korokeishon'（collocation）的多义性，三个代表性描述中有两个对应于'词搭配'，一个对应于'机械装置的位置'，显示出对多义性的敏感性。
• 平均而言，每个术语仅需两个描述即可使用户充分理解，这一结论通过代表性描述的评估得到验证。
• 该方法在静态和动态检索中均有效，支持无需依赖预索引数据库的实时术语描述访问。