[论文解读] Review of state-of-the-arts in artificial intelligence with application to AI safety problem

Vladimir Shakirov|arXiv (Cornell University)|May 11, 2016

Topic Modeling参考文献 6被引用 9

一句话总结

本文综述了自然语言处理、计算机视觉、语音识别和强化学习领域深度学习的最先进技术，认为人类水平的人工通用智能（AGI）有望在5至10年内实现。通过外推模型性能趋势——尤其是困惑度降低和BLEU分数提升——该文得出结论：语言模型的低困惑度将使连贯、符合常识的对话成为可能，而超级智能AI则带来极高的人类灭绝风险，AGI出现后十年内人类灭绝的概率高达75%至99%。

ABSTRACT

Here, I review current state-of-the-arts in many areas of AI to estimate when it's reasonable to expect human level AI development. Predictions of prominent AI researchers vary broadly from very pessimistic predictions of Andrew Ng to much more moderate predictions of Geoffrey Hinton and optimistic predictions of Shane Legg, DeepMind cofounder. Given huge rate of progress in recent years and this broad range of predictions of AI experts, AI safety questions are also discussed.

研究动机与目标

• 基于深度学习的当前趋势，评估人类水平人工通用智能（AGI）的可行性。
• 评估人工智能研究界日益增长的共识：AGI可能在未来十年内出现。
• 分析与超级智能AI相关的潜在生存风险，特别是控制力缺失与人类价值观不一致的问题。
• 论证长期AI安全问题并非模糊或遥远，而是因技术进步速度加快而变得迫在眉睫。
• 倡导在AGI发展加速之前，立即开展AI对齐与安全机制的研究。

提出的方法

• 使用困惑度和BLEU分数等基准指标，分析自然语言处理、计算机视觉、语音识别和强化学习领域的最先进技术表现。
• 通过对外推深度学习进展——尤其是循环神经网络与基于Transformer的模型——来预测未来能力。
• 应用香农的信息论界限估算人类语言的困惑度下限（0.648比特/字符），以估计人类水平语言建模的理论下限。
• 评估对抗性训练与最小风险训练（MRT）作为提升模型与人类评估指标对齐性的技术。
• 回顾神经科学类比，以指导人工认知架构与具身性要求的设计。
• 讨论自监督学习、多模态学习和无监督预训练等新兴方法，作为推动AGI发展的潜在加速器。

实验结果

研究问题

• RQ1 当前深度学习基准中的哪些证据支持在5至10年内实现人类水平AI的预测？
• RQ2 神经语言模型中的低困惑度在多大程度上能体现连贯、符合常识的推理与对话生成能力？
• RQ3 鉴于技术进步速度加快，为何长期AI安全风险并非如常人所认为的那样遥远或推测性？
• RQ4 在将超级智能AI与人类价值观对齐并确保其可控性方面，面临哪些关键技术与概念挑战？
• RQ5 当前AI安全研究方法（如善意/恶意行为数据集）在可行性与鲁棒性方面如何比较？

主要发现

• 语言建模中的困惑度显著下降——从PTB数据集的62.34降至OpenSubtitles数据集的17，表明向人类水平连贯性快速逼近。
• 单个隐藏单元数为8192的LSTM模型可实现困惑度低于15，而基于100亿词的集成模型可能达到10以下，接近人类水平词困惑度的理论下限（约11.8）。
• 神经机器翻译中的BLEU分数已在某些任务上超越人类表现（例如，中英翻译任务中为40.06，人类为35.76），表明翻译质量已接近人类水平。
• 最小风险训练（MRT）显著优于最大似然估计，在MT03数据集上将BLEU分数从33.2提升至40.06。
• 该文估计，AGI出现后十年内人类灭绝的概率为75%至99%，主要基于冷漠、对齐失败或恶意设计的风险。
• 尽管部分研究者对开源AGI以防止垄断持乐观态度，但本文警告此类系统仍可能失控或与人类价值观不一致。