[论文解读] OpenHowNet: An Open Sememe-based Lexical Knowledge Base

Fanchao Qi, Chenghao Yang+4 more|arXiv (Cornell University)|Jan 28, 2019

Natural Language Processing Techniques参考文献 15被引用 25

一句话总结

OpenHowNet 是一个基于 HowNet 构建的开放、基于语义元（sememe）的词汇知识库，提供超过 100,000 个词义的精选数据集，这些词义均以语义元进行标注，同时配备网页界面和 API，支持查询、可视化语义元树以及计算语义相似度。其主要贡献在于为基于语义元的自然语言处理研究提供了开放、可扩展且易于访问的基础架构。

ABSTRACT

In this paper, we present an open sememe-based lexical knowledge base OpenHowNet. Based on well-known HowNet, OpenHowNet comprises three components: core data which is composed of more than 100 thousand senses annotated with sememes, OpenHowNet Web which gives a brief introduction to OpenHowNet as well as provides online exhibition of OpenHowNet information, and OpenHowNet API which includes several useful APIs such as accessing OpenHowNet core data and drawing sememe tree structures of senses. In the main text, we first give some backgrounds including definition of sememe and details of HowNet. And then we introduce some previous HowNet and sememe-based research works. Last but not least, we detail the constituents of OpenHowNet and their basic features and functionalities. Additionally, we briefly make a summary and list some future works.

研究动机与目标

• 基于 HowNet 构建一个开放、可访问且可扩展的词汇知识库，以支持基于语义元的自然语言处理研究。
• 通过公开 HowNet 的核心数据，解决封闭或难以访问的语言资源的局限性。
• 提供网页界面和 API 等工具，以促进对语义元标注数据的探索、查询与集成。
• 支持未来在语义元预测、多语言知识迁移和语义表征学习方面的研究。
• 通过机器学习与人机协同的交互式方法，提升标注的一致性与规模。

提出的方法

• 通过公开发布其核心数据——超过 100,000 个以语义元标注的词义——扩展 HowNet，采用开放可下载的格式。
• 开发 OpenHowNet Web，一个公开的网页界面，支持浏览词义、查看语义元树以及检索语义相似的词义。
• 构建 OpenHowNet API，支持机器访问核心数据，包括词义与语义元搜索、语义元树可视化以及语义相似度计算。
• 将基于语义元的词义相似度算法（Liu & Li, 2002）集成至网页端与 API 中，用于语义相似度排序。
• 提供通过 SST 模型（Niu et al., 2017）预训练的词、词义与语义元嵌入向量，供下游自然语言处理任务使用。
• 通过未来集成机器学习与交互式标注，支持多语言扩展与自动化语义元预测。

实验结果

研究问题

• RQ1 如何使大规模、基于语义元标注的词汇知识库实现开放访问，以支持自然语言处理研究？
• RQ2 哪些功能最能有效支持研究人员探索和利用语义元标注的词义？
• RQ3 开放的程序化接口（API）与网页门户是否能显著提升词汇语义资源的可访问性与可用性？
• RQ4 如何将机器学习与交互式标注相结合，以实现语义元标注的规模化与一致性提升？
• RQ5 现有语义元知识在多语言环境下的迁移潜力如何，能否用于构建多语言语义资源？

主要发现

• OpenHowNet 提供了超过 229,000 个词义、127,266 个不同的中文词汇、104,025 个不同的英文词汇以及 2,187 个语义元，基于最新版的 HowNet。
• OpenHowNet Web 界面支持用户通过 Liu 和 Li（2002）的相似度方法，探索词义定义、语义元树、词性标注、情感信息以及语义相似的词义。
• OpenHowNet API 支持对语义元数据的程序化访问，包括词义与语义元搜索、语义元树渲染以及语义相似度计算。
• 来自 SST 模型（Niu et al., 2017）的预训练词、词义与语义元嵌入向量可公开获取，用于自然语言处理应用。
• 项目支持用户在简单注册后免费下载完整数据集与嵌入向量，更新信息通过电子邮件通知。
• 未来工作包括通过机器学习提升标注一致性，结合自动预测与交互式标注，并扩展至多语言场景。