[论文解读] The tension between openness and prudence in AI research
本文探讨了人工智能研究中开放性与审慎之间的张力，提出负责任的出版规范需在广泛科学共享与防范滥用风险之间取得平衡。文章主张通过结构化、制度化支持的流程（如出版前风险评估和协调披露）来维持开放性，同时减少危害，借鉴了生物伦理学和网络安全领域的模型。
This paper explores the tension between openness and prudence in AI research, evident in two core principles of the Montréal Declaration for Responsible AI. While the AI community has strong norms around open sharing of research, concerns about the potential harms arising from misuse of research are growing, prompting some to consider whether the field of AI needs to reconsider publication norms. We discuss how different beliefs and values can lead to differing perspectives on how the AI community should manage this tension, and explore implications for what responsible publication norms in AI research might look like in practice.
研究动机与目标
- 分析人工智能研究中开放科学传播与审慎之间的伦理与实践张力，特别是潜在滥用问题。
- 识别关于限制人工智能研究出版的分歧观点背后的核心信念，重点关注风险认知、限制措施的有效性以及未来技术需求。
- 探讨如何通过制度机制改革人工智能研究的负责任出版规范，以在维持开放性的同时减轻滥用风险。
- 鼓励发展面向人工智能负责任研究实践的社区级框架与讨论平台。
提出的方法
- 基于蒙特利尔宣言中关于审慎与民主获取的原则，开展概念性分析，以阐明开放性与审慎之间的张力。
- 识别塑造分歧的三大信念集群：对滥用风险的信念、对限制发布有效性的信念，以及对未来人工智能能力与需求的信念。
- 借鉴生物学中的双重用途研究与网络安全领域的协调漏洞披露，提出人工智能出版治理的制度化模型。
- 建议将风险评估整合到研究生命周期中——类似于生物医学研究中的机构审查委员会（IRBs）——通过在早期阶段评估潜在有害的研究方向。
- 建议通过透明决策流程，在实验性、基于会议的环境中测试替代性出版规范，包括延迟发布或有条件发布。
- 倡导在主要人工智能会议中设立定期研讨会和论坛，以促进社区对负责任研究规范的参与。
实验结果
研究问题
- RQ1哪些关于风险、有效性及未来能力的具体信念，构成了对限制人工智能研究出版的不同观点的根源？
- RQ2如何改革人工智能研究的出版规范，以在潜在滥用风险面前实现开放性与审慎的平衡？
- RQ3受生物伦理学和网络安全等领域启发，哪些制度机制可支持人工智能研究的负责任、协调性披露？
- RQ4人工智能研究开放性降低可能带来哪些潜在危害，又如何在应对滥用风险的同时加以缓解？
- RQ5在人工智能研究的早期阶段，如何有意义地整合风险评估，以防止高风险方向的发展，同时不抑制创新？
主要发现
- 人工智能研究中开放性与审慎之间的张力并非源于根本对立的价值观，而是源于对风险、限制措施有效性以及未来技术发展轨迹的信念差异。
- 限制出版本身并不能充分防止滥用，因为有决心的个体或组织可能独立复制或发布类似模型，但协调性延迟可为防御准备争取时间。
- 开放性降低可能加剧精英研究团队和国家之间的权力集中，损害人工智能进步的公平获取。
- 制度化流程——如出版前风险评估与协调披露——可在确保透明与合法的前提下，帮助维持开放性并降低滥用风险。
- 与外部专家（如虚假信息安全研究人员）合作开展威胁建模，可提升高风险领域（如合成媒体）的风险识别能力。
- 对替代性出版规范（如延迟发布或会议层面的政策试验）的实验至关重要，应由主要人工智能会议中的专门论坛与研讨会予以支持。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。