[论文解读] When Qualitative Research Meets Large Language Model: Exploring the Potential of QualiGPT as a Tool for Qualitative Coding

He Zhang, Chuhao Wu+6 more|arXiv (Cornell University)|Jul 20, 2024

Educational Tools and Methods被引用 8

一句话总结

QualiGPT 将 OpenAI API 和提示工程整合，用于辅助定性编码，提高效率、透明度和可用性，在模拟数据和真实数据的 IRR 评估中与人工编码具有相当程度的一致性。

ABSTRACT

Qualitative research, renowned for its in-depth exploration of complex phenomena, often involves time-intensive analysis, particularly during the coding stage. Existing software for qualitative evaluation frequently lacks automatic coding capabilities, user-friendliness, and cost-effectiveness. The advent of Large Language Models (LLMs) like GPT-3 and its successors marks a transformative era for enhancing qualitative analysis. This paper introduces QualiGPT, a tool developed to address the challenges associated with using ChatGPT for qualitative analysis. Through a comparative analysis of traditional manual coding and QualiGPT's performance on both simulated and real datasets, incorporating both inductive and deductive coding approaches, we demonstrate that QualiGPT significantly improves the qualitative analysis process. Our findings show that QualiGPT enhances efficiency, transparency, and accessibility in qualitative coding. The tool's performance was evaluated using inter-rater reliability (IRR) measures, with results indicating substantial agreement between human coders and QualiGPT in various coding scenarios. In addition, we also discuss the implications of integrating AI into qualitative research workflows and outline future directions for enhancing human-AI collaboration in this field.

研究动机与目标

• 解决定性编码时间密集性以及需要可访问、成本效益工具的问题。
• 开发并评估 QualiGPT 作为一个整合的、用户友好的 AI 辅助编码工具。
• 使用跨模拟数据和真实数据集的 IRR 指标评估相对于人工编码的性能。
• 在定性研究中讨论设计考量、数据隐私以及人与 AI 的协作。

提出的方法

• 将 QualiGPT 设计并实现为基于 API 的定性分析工具包，建立在提示工程之上。
• 配置提示组件（任务背景、任务描述、处理方法、预期输出），以实现灵活的基于角色的分析。
• 支持多种数据格式（Word、.txt、.csv、.xlsx）并为对话数据启用标注角色。
• 提供带有主题、描述、引用和参与者计数的表格结果格式，支持 CSV 导出和整会话 TXT 打包。
• 通过案例研究评估性能，将 QualiGPT 的输出与人工编码在归纳与演绎编码任务中的表现进行比较。
• 展示相对于网络版 ChatGPT 接口在可用性、隐私和性能方面的改进。

实验结果

研究问题

• RQ1 QualiGPT 在与人工编码在模拟数据和真实数据上的定性编码任务中的表现如何？
• RQ2 在人类编码者与 QualiGPT 之间通过 IRR（例如 Cohen 的 kappa）在归纳与演绎编码中的一致性水平是多少？
• RQ3 在使用大语言模型进行定性分析时，哪些设计和可用性考虑可以提高透明度、一致性和效率？
• RQ4 使用 AI 辅助定性分析工具时会出现哪些隐私和安全性问题，QualiGPT 如何应对？

主要发现

• QualiGPT 在各种编码情景中与人工编码具有实质性的一致性，IRR 指标显示。
• 在案例研究 1 中，QualiGPT 从 API 进入到 CSV 保存的平均用时为 96.5 秒，较网络版 ChatGPT 的工作流更快且错误率更低。
• QualiGPT 减少手动数据处理，避免代币数量限制问题，并简化相对于使用网络版 ChatGPT 的提示与输出。
• 案例研究 2 的归纳编码任务中，人类与 LLM 的 Cohen’s kappa 为 0.57，表明存在显著但并非完全一致。
• QualiGPT 提供一个整合、用户友好的界面，具备数据隐私控制和可导出输出，相较于传统 CAQDA 工具和免费使用 ChatGPT 提高了可用性和可访问性。