[论文解读] QualiGPT: GPT as an easy-to-use tool for qualitative coding

He Zhang, Chuhao Wu+3 more|arXiv (Cornell University)|Oct 10, 2023

Computational and Text Analysis Methods被引用 18

一句话总结

QualiGPT 是一个基于 GPT 的集成工具包，旨在简化定性研究中的主题分析，相较于传统 CAQDAs 和网络版 ChatGPT，提升可用性、透明度和可访问性。

ABSTRACT

Qualitative research delves deeply into individual complex perspectives on technology and various phenomena. However, a meticulous analysis of qualitative data often requires a significant amount of time, especially during the crucial coding stage. Although there is software specifically designed for qualitative evaluation, many of these platforms fall short in terms of automatic coding, intuitive usability, and cost-effectiveness. With the rise of Large Language Models (LLMs) such as GPT-3 and its successors, we are at the forefront of a transformative era for enhancing qualitative analysis. In this paper, we introduce QualiGPT, a specialized tool designed after considering challenges associated with ChatGPT and qualitative analysis. It harnesses the capabilities of the Generative Pretrained Transformer (GPT) and its API for thematic analysis of qualitative data. By comparing traditional manual coding with QualiGPT's analysis on both simulated and actual datasets, we verify that QualiGPT not only refines the qualitative analysis process but also elevates its transparency, credibility, and accessibility. Notably, compared to existing analytical platforms, QualiGPT stands out with its intuitive design, significantly reducing the learning curve and operational barriers for users.

研究动机与目标

• 解决定性分析中编码所需的时间和努力。
• 提供一个易于使用的工具，利用 GPT 进行主题分析，同时缓解常见的 ChatGPT 问题。
• 在可用性、成本和可信度方面，将 QualiGPT 与传统定性分析软件及 ChatGPT 网络版进行比较。
• 提升 AI 辅助定性分析的透明度、可信度和可访问性。

提出的方法

• 将 QualiGPT 开发为一个基于 GPT API，并为归纳性主题分析定制提示的集成工具包。
• 纳入旨在引用原始数据以提高可解释性和可追溯性的提示。
• 将提示存储为预设以减少提示设计工作量，并提供可视化、用户友好的界面。
• 在模拟数据集和真实数据集上评估 QualiGPT，并将其性能与人工编码进行比较。

实验结果

研究问题

• RQ1 QualiGPT 是否能相比手工方法降低定性数据编码的时间和成本？
• RQ2 QualiGPT 是否提升 AI 辅助定性分析的透明度和可信度？
• RQ3 QualiGPT 在可用性和学习曲线方面与传统 CAQDAs 以及网络版 ChatGPT 有何差异？
• RQ4 哪些设计实践（提示、预设、数据引用）能提升基于 GPT 的主题分析的可靠性？

主要发现

• QualiGPT 简化定性分析工作流程，相对于传统软件降低了学习成本。
• QualiGPT 通过提示数据引用和可解释输出来解决透明度和可信度方面的问题。
• QualiGPT 在可用性、隐私保护和性能方面相对于 ChatGPT 的网络版本有改进。
• QualiGPT 提供更加直观的用户界面，并降低研究人员相较于传统软件所需的编码时间。