[论文解读] PANDA: Facilitating Usable AI Development

Jinyang Gao, Wei Wang+8 more|arXiv (Cornell University)|Apr 26, 2018

Machine Learning in Healthcare参考文献 53被引用 7

一句话总结

PANDA 提出了一套全面的 AI 开发平台，通过解决数据准备、模型设计和部署中的可用性、效率和可靠性挑战，推动 AI 的普及化。它引入了数据-模型匹配评估、交互式可视化工具以及深度学习中的可靠区域检测，使领域专家（如临床医生）无需具备深厚的机器学习专业知识，即可构建和部署可信的 AI 应用。

ABSTRACT

Recent advances in artificial intelligence (AI) and machine learning have created a general perception that AI could be used to solve complex problems, and in some situations over-hyped as a tool that can be so easily used. Unfortunately, the barrier to realization of mass adoption of AI on various business domains is too high because most domain experts have no background in AI. Developing AI applications involves multiple phases, namely data preparation, application modeling, and product deployment. The effort of AI research has been spent mostly on new AI models (in the model training stage) to improve the performance of benchmark tasks such as image recognition. Many other factors such as usability, efficiency and security of AI have not been well addressed, and therefore form a barrier to democratizing AI. Further, for many real world applications such as healthcare and autonomous driving, learning via huge amounts of possibility exploration is not feasible since humans are involved. In many complex applications such as healthcare, subject matter experts (e.g. Clinicians) are the ones who appreciate the importance of features that affect health, and their knowledge together with existing knowledge bases are critical to the end results. In this paper, we take a new perspective on developing AI solutions, and present a solution for making AI usable. We hope that this resolution will enable all subject matter experts (eg. Clinicians) to exploit AI like data scientists.

研究动机与目标

• 通过提升 AI 开发的可用性，降低非技术领域专家（如临床医生）采用 AI 的门槛。
• 克服当前 AI 研究过度关注模型准确率而忽视可用性、效率和安全性的局限。
• 在医疗等现实领域中，实现从数据准备、模型设计到产品部署的端到端 AI 应用开发。
• 通过识别并限制模型在性能可靠的分布区域内的预测，确保高风险应用中的可靠性。
• 通过使领域专家无需掌握深度机器学习或软件工程知识，即可利用 AI 工具，实现 AI 的普及化。

提出的方法

• 提出一种数据-模型匹配评估框架，用于检测数据特征与模型假设（如 SVM 的线性性）之间的不匹配，推荐数据转换或替代模型。
• 开发具备注释和推荐功能的交互式协作可视化工具，支持领域专家在数据探索和标注过程中进行操作。
• 在深度学习模型中实现可靠的区域检测机制，定义输入空间中模型性能与训练集性能一致的区域。
• 集成与模型无关的可靠性评估，识别位于可靠区域之外的数据点，其预测应被避免或标记。
• 设计一个模块化的 AI 平台（PANDA），在注重可用性和安全性的前提下，协调数据准备、模型选择和部署流程。
• 利用领域知识和现有知识库指导特征工程和模型设计，尤其在医疗等类似领域中。

实验结果

研究问题

• RQ1 如何在不需深度机器学习或软件工程知识的前提下，使非专家领域专家（如临床医生）能够访问 AI 开发？
• RQ2 哪些机制能够检测数据特征与模型假设之间的不匹配，以实现模型选择和调优的自动化？
• RQ3 数据可视化和交互式工具如何改善领域专家与数据科学家在数据准备阶段的协作？
• RQ4 深度学习模型中的可靠预测区域由什么定义？如何自动识别并用于高风险应用？
• RQ5 如何设计 AI 系统，以确保在真实世界应用部署全生命周期中的可靠性、效率和安全性？

主要发现

• 数据-模型匹配评估显著降低了因数据与模型假设不匹配（如将非线性数据输入线性模型）而导致的性能不佳风险。
• 具备协作注释和推荐功能的交互式可视化工具提升了数据质量并加速了数据准备，尤其在医疗等复杂领域中效果显著。
• 通过定义并限制预测在可靠区域（即模型性能与训练集准确率一致的区域）内，可实现高风险应用（如医学影像）的安全部署。
• 当一个模型在覆盖 50% 患者影像的可靠区域内达到 99% 的准确率时，可使放射科医生的工作量减少一半，展现出实际应用价值。
• 可靠区域检测使得即使在模型并非普遍准确的情况下，也能实现安全、高置信度的预测，从而适用于金融套利和临床决策支持等场景。
• PANDA 平台原型表明，将可用性、可靠性和领域专业知识整合到 AI 开发流程中是可行的，且对真实世界的应用推广至关重要。