[论文解读] STAGER checklist: Standardized Testing and Assessment Guidelines for Evaluating Generative AI Reliability

Jinghong Chen, Lingxuan Zhu+6 more|arXiv (Cornell University)|Dec 8, 2023

Artificial Intelligence in Healthcare and Education被引用 4

一句话总结

本文提出了STAGER清单，这是一种用于系统评估医疗应用中生成式AI可靠性的标准化23项框架。该框架通过跨学科评审和专家共识制定而成，指导研究人员在问题设计、查询和评估过程中提升AI在医疗研究中的方法论严谨性和报告质量。

ABSTRACT

Generative Artificial Intelligence (AI) holds immense potential in medical applications. Numerous studies have explored the efficacy of various generative AI models within healthcare contexts, but there is a lack of a comprehensive and systematic evaluation framework. Given that some studies evaluating the ability of generative AI for medical applications have deficiencies in their methodological design, standardized guidelines for their evaluation are also currently lacking. In response, our objective is to devise standardized assessment guidelines tailored for evaluating the performance of generative AI systems in medical contexts. To this end, we conducted a thorough literature review using the PubMed and Google Scholar databases, focusing on research that tests generative AI capabilities in medicine. Our multidisciplinary team, comprising experts in life sciences, clinical medicine, medical engineering, and generative AI users, conducted several discussion sessions and developed a checklist of 23 items. The checklist is designed to encompass the critical evaluation aspects of generative AI in medical applications comprehensively. This checklist, and the broader assessment framework it anchors, address several key dimensions, including question collection, querying methodologies, and assessment techniques. We aim to provide a holistic evaluation of AI systems. The checklist delineates a clear pathway from question gathering to result assessment, offering researchers guidance through potential challenges and pitfalls. Our framework furnishes a standardized, systematic approach for research involving the testing of generative AI's applicability in medicine. It enhances the quality of research reporting and aids in the evolution of generative AI in medicine and life sciences.

研究动机与目标

• 解决医疗情境下生成式AI缺乏系统性评估框架的问题。
• 提升评估生成式AI在医疗应用中表现的研究方法质量。
• 开发一个标准化、全面的清单，用于评估关键维度（如问题设计和结果评估）中的AI性能。
• 帮助研究人员避免在医学领域测试和报告生成式AI系统时的常见陷阱。
• 推动生命科学和临床医学领域中更可靠、可复现和可信的AI研究。

提出的方法

• 通过PubMed和Google Scholar进行系统性文献回顾，识别评估医学领域生成式AI的研究。
• 组建由生命科学、临床医学、医学工程和人工智能专家组成的跨学科团队，指导清单的开发。
• 通过专家团队的迭代讨论和共识建立，确定23项关键评估项目。
• 将清单结构化，以指导研究人员从问题收集到结果评估的系统性工作流程。
• 聚焦于关键维度，包括问题制定、查询方法和评估技术，以确保全面评估。
• 设计该框架以适应多样化的医疗AI应用和研究场景。

实验结果

研究问题

• RQ1 如何以更高的方法论严谨性评估生成式AI在医疗应用中的表现？
• RQ2 当前评估医疗领域生成式AI的研究中存在哪些关键的方法论缺陷？
• RQ3 哪些标准化组件是实现对医疗生成式AI可靠且可复现评估的必要条件？
• RQ4 清单如何提升医学领域AI评估研究报告中的一致性和质量？
• RQ5 哪些框架组件是全面评估生成式AI在临床和生命科学背景下可靠性的必要条件？

主要发现

• STAGER清单包含23项标准化项目，涵盖在医疗情境中评估生成式AI的所有关键阶段。
• 该框架通过专家共识和系统性文献回顾制定，确保其相关性和方法论严谨性。
• 清单为从问题收集到结果评估提供了清晰、分步的路径，减少方法论缺陷。
• 该框架通过促进透明度、可复现性和系统性评估，提升了研究报告质量。
• 清单弥补了当前评估实践中的关键空白，特别是在问题设计和评估方法论方面。
• 该框架适用于多种医疗AI应用，支持医疗保健领域可信AI的发展。