[论文解读] The Metacognitive Demands and Opportunities of Generative AI

Lev Tankelevitch, Viktor Kewenig+5 more|arXiv (Cornell University)|Dec 18, 2023

Explainable Artificial Intelligence (XAI)参考文献 203被引用 17

一句话总结

本文提出以元认知为中心的视角来理解和设计生成式AI的可用性挑战，概述对用户的需求以及应对这些挑战的设计策略。

ABSTRACT

Generative AI (GenAI) systems offer unprecedented opportunities for transforming professional and personal work, yet present challenges around prompting, evaluating and relying on outputs, and optimizing workflows. We argue that metacognition$\unicode{x2013}$the psychological ability to monitor and control one's thoughts and behavior$\unicode{x2013}$offers a valuable lens to understand and design for these usability challenges. Drawing on research in psychology and cognitive science, and recent GenAI user studies, we illustrate how GenAI systems impose metacognitive demands on users, requiring a high degree of metacognitive monitoring and control. We propose these demands could be addressed by integrating metacognitive support strategies into GenAI systems, and by designing GenAI systems to reduce their metacognitive demand by targeting explainability and customizability. Metacognition offers a coherent framework for understanding the usability challenges posed by GenAI, and provides novel research and design directions to advance human-AI interaction.

研究动机与目标

• 将 GenAI 可用性挑战与元认知（对自己思想与行动的监控与控制）相结合。
• 识别在提示、评估输出和自动化策略中的具体元认知需求。
• 提出元认知干预和设计方向，以提升 GenAI 的可用性。
• 通过可解释性和自定义来降低元认知负荷的方法。

提出的方法

• 从心理学和认知科学综述元认知理论。
• 综合 GenAI 用户研究，突出提示、评估与自动化挑战。
• 提出两种设计方向：元认知支持策略和通过可解释性与自定义降低元认知需求。
• 整合干预研究与 GenAI 原型，概述研究与设计机会。

实验结果

研究问题

• RQ1 在提示 GenAI、评估输出和决定自动化策略时，用户经历哪些元认知需求？
• RQ2 如何将元认知支持策略整合到 GenAI 系统中以提升可用性？
• RQ3 如何通过可解释性和自定义设计 GenAI 系统以降低元认知需求？
• RQ4 从元认知框架看待 GenAI 可用性后有哪些研究方向？

主要发现

• GenAI 通过提示制备、输出评估和自动化决策，对元认知监控与控制提出了很高的需求。
• 元认知干预可以提升用户的判断准确性和任务规划；培训与反馈是有效策略。
• 可解释性和自定义可以降低元认知处理负担并将用户交互定制到需求。
• GenAI 的模型灵活性、通用性与原创性为应对元认知需求提供设计机会。
• 认知负荷与元认知需求之间存在联系，建议通过设计选择实现平衡。