[论文解读] The State of NLP Literature: A Diachronic Analysis of the ACL Anthology

Saif M. Mohammad|arXiv (Cornell University)|Nov 8, 2019

Topic Modeling参考文献 22被引用 13

一句话总结

本文对截至2019年6月的ACL文集进行了历时性分析，以考察自然语言处理（NLP）研究的生产力、研究重点和影响力趋势。基于约45,000篇论文及Google Scholar的引用数据，研究揭示了持续存在的性别差异：自2000年以来，第一作者中女性仅占约30%，且在控制学术年龄后，女性第一作者获得的引用次数显著少于男性，表明NLP文献中存在系统性的引用偏见。

ABSTRACT

The ACL Anthology (AA) is a digital repository of tens of thousands of articles on Natural Language Processing (NLP). This paper examines the literature as a whole to identify broad trends in productivity, focus, and impact. It presents the analyses in a sequence of questions and answers. The goal is to record the state of the AA literature: who and how many of us are publishing? what are we publishing on? where and in what form are we publishing? and what is the impact of our publications? The answers are usually in the form of numbers, graphs, and inter-connected visualizations. Special emphasis is laid on the demographics and inclusiveness of NLP publishing. Notably, we find that only about 30% of first authors are female, and that this percentage has not improved since the year 2000. We also show that, on average, female first authors are cited less than male first authors, even when controlling for experience. We hope that recording citation and participation gaps across demographic groups will encourage more inclusiveness and fairness in research.

研究动机与目标

• 分析ACL文集中NLP文献的现状，以理解作者构成、研究重点、出版场所和引用影响力的趋势。
• 探究NLP出版物中人口统计特征，特别是性别多样性随时间的变化。
• 量化在控制学术年龄和经验后，男性与女性第一作者之间的引用差异。
• 突出参与度和引用影响力中的系统性不公，以促进NLP研究的包容性与公平性。

提出的方法

• 从ACL文集（44,896篇研究论文）和Google Scholar（截至2019年6月）收集元数据和引用数据。
• 使用数据可视化工具（Tableau）创建交互式的时间序列可视化图，展示出版趋势、作者人口统计和引用模式。
• 通过基于姓名的推断对第一作者进行性别分类（男性、女性、未知），并通过已知的性别分布进行验证。
• 应用统计分析比较不同性别之间的引用次数，控制学术年龄（以首次发表以来的年数衡量）。
• 通过标题的二元词组分析对研究主题进行分组，以识别高影响力领域，并评估其中的性别代表性。
• 追踪不同会议（如LREC、COLING）和年份的出版趋势，以评估生产力和会议偏好。

实验结果

研究问题

• RQ1 ACL文集在出版物数量和作者数量方面随时间的增长轨迹如何？
• RQ2 自1965年以来，NLP出版物中第一作者的性别分布有何变化？
• RQ3 男性与女性第一作者之间是否存在显著的引用差异？这些差异在控制学术年龄后是否依然存在？
• RQ4 在哪些研究领域中，性别引用差距最为显著？是否存在女性被更多引用的领域？
• RQ5 男性和女性作者在不同学术职业阶段的引用模式有何差异？

主要发现

• 自2000年以来，ACL文集中第一作者中女性占比约为30%，且随时间推移无显著改善。
• 即使在控制学术年龄和经验后，女性第一作者获得的引用次数仍显著少于男性第一作者。
• 自2000年代以来，男性与女性第一作者之间的引用差距虽略有缩小，但依然具有统计显著性。
• 在仅12%（59个中最受引用的领域中7个）的研究领域中，女性获得的平均引用次数高于男性，情感分析和对话系统是其中的例外。
• 性别未知的第一作者比例随时间推移而上升，可能反映了更广泛的全球代表性，但尚不足以完全抵消现有不公。
• 引用差距在大多数研究领域中持续存在，表明差异并非源于女性集中在低影响力子领域。