[论文解读] On the Use of Grey Literature: A Survey with the Brazilian Software Engineering Research Community

Fernando Kamei, Igor Wiese+3 more|arXiv (Cornell University)|Sep 13, 2020

Software Engineering Research参考文献 27被引用 4

一句话总结

本研究通过在巴西软件工程（SE）领域旗舰会议中对76名参与者的调查，探讨了巴西SE研究人员使用灰色文献（GL）的情况。研究发现，GL主要用于理解新兴主题，其中博客和社区网站是主要来源；主要优势在于可及性和实用见解，而主要挑战则在于其科学严谨性不足的感知。研究识别出‘知名作者/机构’是关键的可信度标准，为研究人员和实践者提升GL在基于证据的SE研究中的作用提供了切实可行的见解。

ABSTRACT

Background: The use of Grey Literature (GL) has been investigate in diverse research areas. In Software Engineering (SE), this topic has an increasing interest over the last years. Problem: Even with the increase of GL published in diverse sources, the understanding of their use on the SE research community is still controversial. Objective: To understand how Brazilian SE researchers use GL, we aimed to become aware of the criteria to assess the credibility of their use, as well as the benefits and challenges. Method: We surveyed 76 active SE researchers participants of a flagship SE conference in Brazil, using a questionnaire with 11 questions to share their views on the use of GL in the context of SE research. We followed a qualitative approach to analyze open questions. Results: We found that most surveyed researchers use GL mainly to understand new topics. Our work identified new findings, including: 1) GL sources used by SE researchers (e.g., blogs, community website); 2) motivations to use (e.g., to understand problems and to complement research findings) or reasons to avoid GL (e.g., lack of reliability, lack of scientific value); 3) the benefit that is easy to access and read GL and the challenge of GL to have its scientific value recognized; and 4) criteria to assess GL credibility, showing the importance of the content owner to be renowned (e.g., renowned author and institutions). Conclusions: Our findings contribute to form a body of knowledge on the use of GL by SE researchers, by discussing novel (some contradictory) results and providing a set of lessons learned to both SE researchers and practitioners.

研究动机与目标

• 了解巴西软件工程（SE）研究人员在其研究中如何使用灰色文献（GL）。
• 识别使用GL的动机以及避免使用的理由，包括对可靠性和科学价值的担忧。
• 考察SE研究人员评估GL来源可信度所采用的标准。
• 探讨SE研究人员在使用GL时感知到的优势与挑战。
• 为研究人员和实践者提供切实可行的见解，以更有效地在基于证据的SE研究中利用GL。

提出的方法

• 对参加第34届巴西软件工程研讨会（SBES 2020）的76名活跃SE研究人员进行了调查。
• 调查包含11个问题，重点在于对开放式回答进行定性分析，以探讨使用动机、来源、可信度标准以及感知到的优势与挑战。
• 数据采用定性方法进行分析，以识别研究人员对GL使用感知中的重复主题与模式。
• 研究聚焦于多样化的GL来源，包括博客、社区网站、技术报告以及Stack Overflow等问答平台。
• 将研究发现与先前研究进行对比，以识别新颖或相反的见解，特别是关于可信度评估和GL可及性方面。
• 本研究为巴西SE研究社区中GL使用的首次实证调查。

实验结果

研究问题

• RQ1 RQ1: 巴西SE研究人员为何使用灰色文献？
• RQ2 RQ2: 巴西SE研究人员使用哪些类型的灰色文献？
• RQ3 RQ3: 巴西SE研究人员使用哪些标准来评估灰色文献的可信度？
• RQ4 RQ4: 巴西SE研究人员在使用灰色文献时感知到哪些优势与挑战？

主要发现

• 使用灰色文献最常见的动机是理解软件工程中的新主题或新兴话题。
• 博客、社区网站和技术经验报告是巴西SE研究人员最常使用的灰色文献来源。
• cited 的主要优势是灰色文献易于获取且易于阅读，有助于快速获取知识。
• 主要挑战是缺乏科学价值以及感知到的不可靠性，这阻碍了其在正式研究中的整合。
• 可信度主要通过内容创作者的声誉来评估，其中“知名作者”、“知名机构”和“知名公司”是关键的信任指标。
• 本研究揭示了一个矛盾：尽管GL被广泛用于获取实用见解，但其科学合法性仍存在争议，凸显了改进可信度评估框架的必要性。