[论文解读] Semantic Jira - Semantic Expert Finder in the Bug Tracking Tool Jira

Velten Heyn, Adrian Paschke|arXiv (Cornell University)|Jan 1, 2013

Scientific Computing and Data Management参考文献 5被引用 2

一句话总结

Semantic Jira 提出了一种集成于 Jira 缺陷跟踪工具中的语义专家推荐系统，通过 tf-idf 和本体论上的语义相似度自动识别相似工单，进而推荐相关专家和关联的 Wiki 知识。该系统在专家推荐中实现了 82.7% 的召回率，其中 88.6% 的专家位于前十个推荐结果中，显著减少了重复工作并提升了软件项目中的知识复用效率。

ABSTRACT

The semantic expert recommender extension for the Jira bug tracking system semantically searches for similar tickets in Jira and recommends experts and links to existing organizational (Wiki) knowledge for each ticket. This helps to avoid redundant work and supports the search and collaboration with experts in the project management and maintenance phase based on semantically enriched tickets in Jira.

研究动机与目标

• 解决在 Jira 等大规模缺陷跟踪系统中寻找相关专家和先前解决方案的挑战。
• 通过复用相似工单中已记录的解决方案，减少重复工作。
• 通过将工单与专家知识及企业 Wiki 内容关联，提升协作与知识共享水平。
• 克服基于关键词的专家搜索方法的局限性，尤其针对非技术用户。
• 将语义技术直接集成至 Jira 工作流中，实现实时支持开发人员和项目经理。

提出的方法

• 对工单描述应用 tf-idf 加权，提取最相关的关键词（5–20 个）用于相似度计算。
• 基于本体论匹配框架（CSW SemF）在选定的对象属性上计算工单之间的语义相似度。
• 使用综合专家评分公式，结合相关主题的相似度加权专家能力与作者声誉指标。
• 使用 Lucene/Solr 索引所有 Jira 工单，以实现高效检索并支持基于 REST 的 CRUD 操作。
• 通过 LuceneSearch 与 Mediawiki 集成，基于语义相似度检索并排序相关的 Wiki 文章。
• 通过 Jira EventListener 和上下文提供程序触发专家推荐，动态填充工单详情视图。

实验结果

研究问题

• RQ1 如何利用语义与统计方法自动识别并排序相似工单？
• RQ2 哪些信息源（如工单元数据、Wiki 贡献）在识别专家方面最为有效？
• RQ3 基于本体论的语义相似度如何在超越关键词匹配的基础上提升专家推荐效果？
• RQ4 将企业 Wiki 知识集成到专家推荐过程中会产生何种影响？
• RQ5 与人工判断相比，该系统在推荐相关专家方面的有效性如何？

主要发现

• 系统在专家推荐中实现了 82.7% 的召回率，意味着用户所识别的 82.7% 的专家均在系统推荐结果中被找到。
• 用户所选择的专家中，88.6% 被排在前十个推荐结果内，表明在顶级推荐结果中具有极高的精确度。
• 74.3% 的用户所选专家位于前三个推荐结果中，表明顶部推荐结果的相关性极高。
• 45.7% 的所有专家被系统列为第一推荐，显示出系统在识别最相关专家方面的优异表现。
• 平均而言，系统每张工单推荐 10.03 位专家，表明推荐范围广泛但依然具有相关性。
• 通过评估中的参数调优发现，相似度计算的最优相关术语数量约为 10–15 个。