[论文解读] Thematic Analysis with Open-Source Generative AI and Machine Learning: A New Method for Inductive Qualitative Codebook Development

Andrew Katz, Gabriella Coloyan Fleming+1 more|arXiv (Cornell University)|Sep 28, 2024

Artificial Intelligence in EducationComputer Science被引用 3

一句话总结

本文提出了GATOS工作流程，这是一种利用开源生成式AI与机器学习技术，自适应生成定性编码本的创新方法。该方法在合成数据集上可靠地识别出与已知主题结构相符的主题，为大规模社会科学研究所面临的传统人工编码提供了可扩展、有效的替代方案。

ABSTRACT

This paper aims to answer one central question: to what extent can open-source generative text models be used in a workflow to approximate thematic analysis in social science research? To answer this question, we present the Generative AI-enabled Theme Organization and Structuring (GATOS) workflow, which uses open-source machine learning techniques, natural language processing tools, and generative text models to facilitate thematic analysis. To establish validity of the method, we present three case studies applying the GATOS workflow, leveraging these models and techniques to inductively create codebooks similar to traditional procedures using thematic analysis. Specifically, we investigate the extent to which a workflow comprising open-source models and tools can inductively produce codebooks that approach the known space of themes and sub-themes. To address the challenge of gleaning insights from these texts, we combine open-source generative text models, retrieval-augmented generation, and prompt engineering to identify codes and themes in large volumes of text, i.e., generate a qualitative codebook. The process mimics an inductive coding process that researchers might use in traditional thematic analysis by reading text one unit of analysis at a time, considering existing codes already in the codebook, and then deciding whether or not to generate a new code based on whether the extant codebook provides adequate thematic coverage. We demonstrate this workflow using three synthetic datasets from hypothetical organizational research settings: a study of teammate feedback in teamwork settings, a study of organizational cultures of ethical behavior, and a study of employee perspectives about returning to their offices after the pandemic. We show that the GATOS workflow is able to identify themes in the text that were used to generate the original synthetic datasets.

研究动机与目标

• 探究开源生成式AI模型是否能够有效支持社会科学研究中的归纳式定性编码本开发。
• 解决在处理大规模文本数据（如数千份调查回复或数小时的访谈记录）时，人工主题分析面临的可扩展性挑战。
• 通过将GATOS工作流程生成的编码本与旨在模拟现实世界组织研究情境的合成数据集中已知的主题结构进行对比，验证该工作流程的有效性。
• 建立一种可重复、透明且成本低廉的主题分析方法，减少对耗时的人工编码的依赖，同时保持主题分析的准确性。
• 探索检索增强生成与提示工程在提升AI生成定性编码与主题一致性及可靠性方面的潜力。

提出的方法

• GATOS工作流程整合了开源大语言模型（LLMs）、自然语言处理（NLP）工具以及检索增强生成（RAG），以自动化实现归纳式编码本的生成。
• 该方法遵循与传统主题分析一致的分步流程：熟悉数据、生成初始编码、识别主题、审查与优化主题，最终生成分层编码本。
• 通过提示工程引导LLM完成结构化编码与主题识别任务，指令设计基于Braun与Clarke的六阶段主题分析框架。
• 系统利用反思提示评估主题显著性、冗余性与与研究问题的契合度，以衡量编码的相关性与主题的一致性。
• 采用JSON结构化输出格式，确保最终编码本的一致性与机器可读性，包括主题名称、底层概念、关联编码及其相互关系。
• 该工作流程在三个模拟现实世界组织研究情境的合成数据集上进行测试：团队成员反馈、伦理组织文化，以及后疫情时代办公室返岗观点。

Figure 1 : Data Generation Process

实验结果

研究问题

• RQ1 开源生成式AI模型在多大程度上能够模拟人类主题分析的归纳过程？
• RQ2 GATOS工作流程是否能够可靠地识别出与合成数据集预设主题结构一致的主题与子主题？
• RQ3 检索增强生成与提示工程的整合如何提升AI生成编码本的连贯性与主题准确性？
• RQ4 GATOS工作流程在识别多样化组织研究情境下有意义且非冗余的主题方面表现如何？
• RQ5 与传统人工编码相比，该方法在处理大规模文本语料时，在可扩展性、一致性与主题保真度方面表现如何？

主要发现

• GATOS工作流程在所有三个合成数据集中成功识别出与生成数据所用已知主题结构高度匹配的主题。
• AI生成的编码本表现出良好的连贯性与主题相关性，主题准确反映了底层研究问题与数据语境。
• 通过结构化反思提示评估主题显著性与契合度，该方法有效减少了冗余或无意义编码的产生。
• 检索增强生成的整合显著提升了模型基于相关数据片段提出编码建议的能力，增强了上下文准确性。
• 工作流程生成了具有清晰主题与子主题关系的分层编码本，其结构与传统人工构建的编码本一致。
• 结果表明，当结合专家设计的提示与NLP处理流程时，开源生成式AI可作为大规模定性研究中人工主题编码的有效且可扩展的替代方案。

Figure 2 : Distribution of Simulated Response Lengths for Teammate Feedback