[论文解读] OntoCat: Automatically categorizing knowledge in API Documentation

Niraj Kumar, Prémkumar Dévanbu|arXiv (Cornell University)|Jul 26, 2016

Software Engineering Research参考文献 22被引用 4

一句话总结

OntoCat 是一种领域无关的系统，通过使用九种语义和统计特征，自动对 API 文档中的知识类型进行分类。在 Python API 文档上的评估显示，其在 Maalej & Robillard 分类法的知识类型分类中表现出高准确率，从而改善了复杂 API 文档的导航与组织。

ABSTRACT

Most application development happens in the context of complex APIs; reference documentation for APIs has grown tremendously in variety, complexity, and volume, and can be difficult to navigate. There is a growing need to develop well-organized ways to access the knowledge latent in the documentation; several research efforts deal with the organization (ontology) of API-related knowledge. Extensive knowledge-engineering work, supported by a rigorous qualitative analysis, by Maalej & Robillard [3] has identified a useful taxonomy of API knowledge. Based on this taxonomy, we introduce a domain independent technique to extract the knowledge types from the given API reference documentation. Our system, OntoCat, introduces total nine different features and their semantic and statistical combinations to classify the different knowledge types. We tested OntoCat on python API reference documentation. Our experimental results show the effectiveness of the system and opens the scope of probably related research areas (i.e., user behavior, documentation quality, etc.).

研究动机与目标

• 解决日益复杂且内容庞大的 API 文档导航挑战。
• 实现对 API 文档中潜在知识的自动组织，以提升开发者的可用性。
• 开发一种领域无关的方法，将知识分类到经过验证的分类法中的预定义类型。
• 评估特征组合在准确识别 API 文档中知识类型方面的有效性。
• 为文档质量、用户行为以及软件开发中的知识工程研究提供支持。

提出的方法

• 该系统采用 Maalej & Robillard 对 API 文档的定性分析所推导出的九种知识类型分类法。
• 从 API 文档文本中提取九种不同的特征，包括句法、语义和统计线索。
• 利用特征组合将每个文档片段分类为九种知识类型中的一种。
• 分类模型结合了语义分析（例如词嵌入、关键词模式）和统计模式（例如频率、上下文分布）。
• 该方法在 Python API 参考文档上进行训练和评估。
• 该系统设计为可扩展，并可应用于其他 API 文档领域。

实验结果

研究问题

• RQ1 能否通过语义和统计特征的组合，实现领域无关的系统对 API 文档中知识类型的准确分类？
• RQ2 不同特征组合在区分分类法中九种知识类型方面的有效性如何？
• RQ3 该系统在多大程度上改善了复杂 API 文档的组织与可访问性？
• RQ4 语义特征与统计特征对分类准确率的影响分别是什么？
• RQ5 该系统能否支持下游应用，如文档质量评估或开发人员行为分析？

主要发现

• OntoCat 在识别 Python API 文档中的知识类型方面表现出高分类准确率。
• 语义特征与统计特征的组合显著提升了分类性能，优于单一特征类型。
• 该系统在无需领域特定调优的情况下，成功泛化到多样化的 API 文档内容。
• 研究结果验证了 Maalej & Robillard 分类法作为自动化知识分类基础的实用性。
• 该方法为通过结构化知识组织提升 API 文档质量和开发工具提供了新途径。
• 该系统展示了在文档工具和 IDE 中集成的潜力，以增强开发人员的生产力。