[论文解读] Perspectives on the State and Future of Deep Learning - 2023

Micah Goldblum, Anima Anandkumar+8 more|arXiv (Cornell University)|Dec 7, 2023

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

这篇2023年的综述汇集了专家对深度学习当前状态与未来的观点，强调了被低估的挑战，如分布偏移、机械可解释性和鲁棒推理。文章倡导学术界开展基础研究，批评基准测试的局限性，并突出人工智能在自然科学领域的变革潜力，同时警告不要过度依赖狭窄的评估指标和数据密集型模型。

ABSTRACT

The goal of this series is to chronicle opinions and issues in the field of machine learning as they stand today and as they change over time. The plan is to host this survey periodically until the AI singularity paperclip-frenzy-driven doomsday, keeping an updated list of topical questions and interviewing new community members for each edition. In this issue, we probed people's opinions on interpretable AI, the value of benchmarking in modern NLP, the state of progress towards understanding deep learning, and the future of academia.

研究动机与目标

• 通过专家访谈和社区反馈，记录并分析深度学习当前及新兴的挑战。
• 识别被低估但具有高影响力的科研问题，例如对分布偏移的鲁棒性以及机械可解释性。
• 评估在工业主导趋势下，学术界在推进基础机器学习研究中的角色。
• 批判当前自然语言处理与视觉领域的评估范式，倡导设计更具洞察力、并考虑人类与异源智能特性的基准。
• 探索人工智能在自然科学中的未来，包括材料发现和药物设计，作为具有高影响力的前沿领域。

提出的方法

• 对领先的机器学习研究者和从业者进行精心筛选的调查，收集其在关键挑战与未来方向上的定性见解。
• 利用专家意见和真实应用场景示例（例如，PDE代理模型、分子动力学、抗体设计）来说明人工智能的 impactful 应用。
• 通过强调在分布偏移研究中测试分布泄露的风险，批判传统基准测试方法。
• 提出从经验性基准迭代转向基于预定义分布偏移类型的原理性算法设计。
• 倡导人工智能与认知科学之间的合作，以设计更优的AI能力评估协议。
• 强调主动学习、学习型评估和不确定性表示是尚未充分发展但至关重要的领域。

实验结果

研究问题

• RQ1 当前深度学习中最具关键性但研究不足的问题是什么？
• RQ2 我们如何在静态基准和整体准确率之外改进AI系统的评估？
• RQ3 为何当前的分布偏移研究存在缺陷？如何重构以避免分布泄露？
• RQ4 在工业主导的背景下，学术界在推进基础机器学习研究中应扮演何种角色？
• RQ5 如何最有效地应用人工智能以加速自然科学中的发现？

主要发现

• Max Welling 指出，人工智能在自然科学中的应用——如气候建模、电池设计和药物发现——是最具影响力且尚未充分探索的前沿领域之一。
• Kyunghyun Cho 认为，当前机器学习研究过度集中于数据丰富且易于评估的简单问题，而牺牲了更复杂、成本更高且影响更大的问题，如主动学习和鲁棒分类。
• Zachary Lipton 观察到，人工智能如今已深度嵌入各行业，企业领导者往往比学术界人士更了解前沿动态，表明影响力正从学术界向产业界转移。
• Melanie Mitchell 指出，缺乏对抽象推理的泛化能力、组合性视觉-语言理解能力，以及评估方法的不足，是人工智能领域尚未解决的核心挑战。
• 本文强调，机械可解释性——即理解模型如何在内部处理信息——仍是深度学习中根本且尚未解决的问题。
• 尽管工业界在技术上不断进步，学术界在统计基础、因果推断和鲁棒性等长期、开放性研究方面仍具有独特角色，这些方向与短期商业目标关联较弱。