[论文解读] What Do NLP Researchers Believe? Results of the NLP Community Metasurvey

Julian Michael, Ari Holtzman+9 more|arXiv (Cornell University)|Aug 26, 2022

Topic Modeling被引用 8

一句话总结

本文基于2022年5月至6月开展的NLP社区元调查（NLP Community Metasurvey），呈现了对NLP研究者的大规模调查结果，评估了他们在争议性议题上的明确信念（如规模扩展、通用人工智能AGI、语言结构和伦理问题）以及对社区观点的社会学信念。关键发现揭示了实际信念与感知共识之间存在显著差异，包括对基准测试有用性的高估，以及对跨学科研究和归纳偏置支持度的低估。

ABSTRACT

We present the results of the NLP Community Metasurvey. Run from May to June 2022, the survey elicited opinions on controversial issues, including industry influence in the field, concerns about AGI, and ethics. Our results put concrete numbers to several controversies: For example, respondents are split almost exactly in half on questions about the importance of artificial general intelligence, whether language models understand language, and the necessity of linguistic structure and inductive bias for solving NLP problems. In addition, the survey posed meta-questions, asking respondents to predict the distribution of survey responses. This allows us not only to gain insight on the spectrum of beliefs held by NLP researchers, but also to uncover false sociological beliefs where the community's predictions don't match reality. We find such mismatches on a wide range of issues. Among other results, the community greatly overestimates its own belief in the usefulness of benchmarks and the potential for scaling to solve real-world problems, while underestimating its own belief in the importance of linguistic structure, inductive bias, and interdisciplinary science.

研究动机与目标

• 对NLP研究者在该领域争议性议题上的信念谱系进行实证映射。
• 调查研究人员实际信念与其对社区观点的社会学信念之间的差距。
• 识别可能阻碍NLP研究中沟通、协作与共识建立的错误社会学信念。
• 提供基于数据的洞见，了解该领域对自身的认知与其现实之间的契合度，特别是在伦理、通用人工智能AGI和方法论优先事项方面。

提出的方法

• 在2022年5月至6月期间，通过网络问卷对NLP研究社区的480名受访者进行了调查。
• 针对每一项争议性议题，受访者表明其对某一立场（如规模扩展或AGI）的认同程度，并预测其他研究者中持相同观点的比例。
• 利用实际回答与预测回答之间的差异，识别错误的社会学信念。
• 聚焦于文献中存在活跃争论的议题，包括通用人工智能AGI、语言结构、归纳偏置、基准测试和跨学科整合。
• 收集人口统计和机构代表性数据，以评估潜在的抽样偏差。
• 使用描述性统计方法，并对比实际响应分布与预测响应分布进行分析。

实验结果

研究问题

• RQ1 NLP研究者在关键争议性议题（如规模扩展、AGI和语言结构）上的实际信念分布如何？
• RQ2 NLP研究者对其同行在这些议题上信念普遍性的预测准确度如何？
• RQ3 研究人员的社会学信念与社区中实际观点分布的偏离程度有多大？
• RQ4 研究人员对NLP研究科学价值和社会影响的信念，与其对社区共识的感知相比如何？
• RQ5 信念错配对NLP领域内沟通、协作和研究方向可能产生何种影响？

主要发现

• 绝大多数NLP研究者不认同‘当前系统规模扩展可解决几乎所有重要NLP问题’这一假设，尽管他们认为该观点比实际情况更被广泛接受。
• 受访者显著高估了社区对基准测试和规模扩展在解决现实问题中价值的认同程度。
• 尽管相信跨学科见解很重要，研究人员却严重低估了持相同看法的同行人数。
• 多数受访者认为大多数NLP工作的科学价值值得怀疑，反映出该领域对其当前发展轨迹的批判性自我评估。
• 人们对NLP未来社会影响持强烈乐观态度，相当一部分人预见其将带来变革性甚至危险性后果。
• 在核心问题上，如语言模型是否真正理解语言、语言结构的必要性以及归纳偏置的重要性，社区观点几乎持平。