[论文解读] Rationale in Development Chat Messages: An Exploratory Study

Rana Alkadhi, Teodora Lata+2 more|arXiv (Cornell University)|Apr 27, 2017

Software Engineering Research参考文献 33被引用 12

一句话总结

本研究将软件开发团队的聊天消息视为一种丰富且未被充分挖掘的推理来源——即理由、决策与设计权衡——通过内容分析和机器学习方法进行研究。结果表明，机器学习能够有效检测聊天消息中的推理内容，召回率最高达0.88，同时可将非相关消息的过滤召回率提升至0.98，从而实现从非正式团队沟通中可扩展地提取开发知识。

ABSTRACT

Chat messages of development teams play an increasingly significant role in software development, having replaced emails in some cases. Chat messages contain information about discussed issues, considered alternatives and argumentation leading to the decisions made during software development. These elements, defined as rationale, are invaluable during software evolution for documenting and reusing development knowledge. Rationale is also essential for coping with changes and for effective maintenance of the software system. However, exploiting the rationale hidden in the chat messages is challenging due to the high volume of unstructured messages covering a wide range of topics. This work presents the results of an exploratory study examining the frequency of rationale in chat messages, the completeness of the available rationale and the potential of automatic techniques for rationale extraction. For this purpose, we apply content analysis and machine learning techniques on more than 8,700 chat messages from three software development projects. Our results show that chat messages are a rich source of rationale and that machine learning is a promising technique for detecting rationale and identifying different rationale elements.

研究动机与目标

• 调查软件开发团队在非正式聊天消息中推理内容的频率与完整性。
• 评估使用机器学习技术自动检测和分类聊天消息中推理元素的可行性。
• 评估自动化方法从非结构化、实时团队沟通中提取隐性开发知识的潜力。
• 提供实证证据，表明聊天消息是正式推理文档的可行替代方案，后者常因开销过大而未被充分利用。

提出的方法

• 对三个软件开发项目中的8,702条聊天消息进行内容分析，人工标注推理元素，如问题、备选方案、正反论证及决策。
• 利用人工标注的数据集训练并评估多种用于推理检测与分类的机器学习模型。
• 应用监督学习技术，对消息在两个粒度层级上进行分类：(1) 推理是否存在，以及(2) 具体推理元素的识别。
• 以聊天消息的语言和结构特征作为机器学习模型的输入，重点关注非正式、简短的沟通模式。
• 使用标准指标（包括精确率、召回率和F1值）评估模型性能，以衡量检测与分类的准确性。

实验结果

研究问题

• RQ1 软件开发聊天消息中推理元素的出现频率如何？
• RQ2 这些消息中捕获的推理内容有多完整？哪些类型的推理元素最为普遍？
• RQ3 机器学习技术能否有效检测非正式聊天沟通中包含推理的消息？
• RQ4 机器学习模型能否准确地将检测到的推理内容分类为具体元素，如问题、备选方案、正反论证和决策？

主要发现

• 聊天消息中包含大量推理内容，44.7%的消息至少包含一个推理元素，表明其是开发知识的丰富来源。
• 机器学习模型在检测包含推理的消息方面，召回率最高达0.88，显示出在自动化提取方面的强大潜力。
• 模型在过滤不含推理的消息方面，召回率最高达0.98，显著降低了大规模消息语料中的噪声。
• 对推理元素（如问题、备选方案、正反论证、决策）进行细粒度分类是可行的，不同模型均表现出良好性能。
• 结果表明，非正式聊天沟通是捕获与重用软件开发推理的可行且尚未被充分利用的媒介。