[论文解读] Supporting Serendipity: Opportunities and Challenges for Human-AI Collaboration in Qualitative Analysis

Jialun Aaron Jiang, Kandrea Wade+2 more|arXiv (Cornell University)|Feb 7, 2021

Data Visualization and Analytics参考文献 42被引用 29

一句话总结

这篇论文研究定性研究者如何看待并能够从在归纳分析中的AI协作中受益，强调偶然性、人类能动性与模糊性。

ABSTRACT

Qualitative inductive methods are widely used in CSCW and HCI research for their ability to generatively discover deep and contextualized insights, but these inherently manual and human-resource-intensive processes are often infeasible for analyzing large corpora. Researchers have been increasingly interested in ways to apply qualitative methods to "big" data problems, hoping to achieve more generalizable results from larger amounts of data while preserving the depth and richness of qualitative methods. In this paper, we describe a study of qualitative researchers' work practices and their challenges, with an eye towards whether this is an appropriate domain for human-AI collaboration and what successful collaborations might entail. Our findings characterize participants' diverse methodological practices and nuanced collaboration dynamics, and identify areas where they might benefit from AI-based tools. While participants highlight the messiness and uncertainty of qualitative inductive analysis, they still want full agency over the process and believe that AI should not interfere. Our study provides a deep investigation of task delegability in human-AI collaboration in the context of qualitative analysis, and offers directions for the design of AI assistance that honor serendipity, human agency, and ambiguity.

研究动机与目标

• 了解定性研究者在归纳分析中的工作实践与挑战。
• 评估AI是否能够在不削弱研究者的能动性的前提下恰当地增强定性分析。
• 识别尊重不确定性和偶然性、并期望的AI能力与边界，以适用于定性工作。
• 探讨定性研究情境中的协作动态与共识形成如何运作，以及AI对其的潜在帮助。

提出的方法

• 对来自信息科学、人类学、HCI、语言学和新闻学的定性研究者进行了17次半结构式访谈。
• 对访谈文本进行主题分析，以识别做法、协作动态和AI增强需求。
• 使用开放编码、迭代编码轮次和备忘录提炼出五个总体主题。
• 比较现有的定性分析工具及其局限性，强调需要直观、横截面分析和可定制的功能。
• 将分析框架围绕任务委托性以及AI在定性探究中应扮演（不应扮演）的角色来构建。

实验结果

研究问题

• RQ1 在跨学科领域中，定性分析的典型做法和工具有哪些？
• RQ2 定性研究者希望获得哪些AI辅助能力，以及AI应该在分析中避免介入的地方？
• RQ3 协作动态如何影响定性研究中的共识与可靠性，AI可以提供哪些支持？
• RQ4 AI应如何在归纳性定性分析中体现对不确定性和偶然性的尊重？

主要发现

• 定性研究者使用多样且常常不一致的相同方法词汇，这会妨碍沟通与工具设计。
• 现有的定性分析工具被认为不足以处理大量数据，且跨学科采用门槛较低的方面也存在局限。
• 研究者希望AI提供直观可视化、横截面分析以及领域特定支持，而不强迫任何人学习复杂的软件。
• 参与者设想AI提供建设性建议与推断，如识别被忽视的数据或提出相关引文，同时保持研究者的控制力与将怀疑视为生产性要素。
• 在定性工作中协作很常见，共识形成的细微之处超出仅仅讨论数据，需要思考AI如何增强而非取代人类判断。
• AI应增强人类分析并保持能动性、透明度和怀疑的可能性；研究主张AI应支持偶然性而非决定性自动化。