[论文解读] What Artificial Neural Networks Can Tell Us About Human Language Acquisition

Alex Warstadt, Samuel R. Bowman|arXiv (Cornell University)|Aug 17, 2022

Natural Language Processing Techniques被引用 24

一句话总结

本章认为人工神经网络可以就人类语言的可学习性提供概念证明的证据，使用消融研究和受控的学习环境来比较模型与人类的学习，同时强调相关性的局限性和最佳实践。

ABSTRACT

Rapid progress in machine learning for natural language processing has the potential to transform debates about how humans learn language. However, the learning environments and biases of current artificial learners and humans diverge in ways that weaken the impact of the evidence obtained from learning simulations. For example, today's most effective neural language models are trained on roughly one thousand times the amount of linguistic data available to a typical child. To increase the relevance of learnability results from computational models, we need to train model learners without significant advantages over humans. If an appropriate model successfully acquires some target linguistic knowledge, it can provide a proof of concept that the target is learnable in a hypothesized human learning scenario. Plausible model learners will enable us to carry out experimental manipulations to make causal inferences about variables in the learning environment, and to rigorously test poverty-of-the-stimulus-style claims arguing for innate linguistic knowledge in humans on the basis of speculations about learnability. Comparable experiments will never be possible with human subjects due to practical and ethical considerations, making model learners an indispensable resource. So far, attempts to deprive current models of unfair advantages obtain sub-human results for key grammatical behaviors such as acceptability judgments. But before we can justifiably conclude that language learning requires more prior domain-specific knowledge than current models possess, we must first explore non-linguistic inputs in the form of multimodal stimuli and multi-agent interaction as ways to make our learners more efficient at learning from limited linguistic input.

研究动机与目标

• 评估在受限条件下，人工学习者如何为人类语言可学习性提供概念证明。
• 提出基于消融的方法学，用以测试某些优势是否对于获得目标语言知识是必要的。
• 评估学习环境、模型结构和输入模态如何影响对人类语言学习的泛化性。

提出的方法

• 提出对学习情境的双因素框架：天生的学习者归纳偏置与学习环境，以及一种消融方法以移除假定的优势（A）。
• 概述将可学习性结果从贫乏的模型学习者推广到人类的策略，通过相对于人类学习者减少模型优势。
• 综述并讨论用于在神经模型中测试语言能力的评估基准和方法，包括无监督与有监督测试。
• 倡导通过修改模型输入（例如多模态数据、代理之间的交互）来缩小与人类学习者在数据效率方面的差距。
• 讨论能力与表现的区分，以及行为测试（可接受性判断、阅读时长、习得年龄）如何为能力推断提供信息。
• 描述消融方法如何为语言习得中的刺激匮乏和先天偏见辩论提供信息。

实验结果

研究问题

• RQ1 在没有某些天生或环境优势的情况下，贫乏的模型学习者是否能够证明目标语言知识的可学习性？
• RQ2 消融和改变的学习环境在多大程度上影响神经模型获得类人语言知识？
• RQ3 哪些基准和测试最能揭示人工学习者的人类般语言能力或表现？
• RQ4 学习环境中的多模态输入和社会互动如何影响数据效率以及对人类学习的泛化？
• RQ5 在什么条件下，模型结果可以如可学习性理论所论证的那样泛化到人类语言习得？

主要发现

• 消融研究可以提供严格的概念证明，表明某些假定的优势对于获得特定语言知识并非必要。
• 在假设对齐仔细的前提下，贫乏模型的正向（可学习性）结果通常比负向结果更具可推广性。
• 通过在学习环境中引入多模态输入和代理间交互，可以在不过度丰富数据的前提下缩小模型与人类之间的数据效率差距。
• 一个学习情景由学习者的归纳偏置与环境共同决定；移除某一优势（A）可检验其对获得目标知识（T）的必要性。
• 基准测试与评估（如可接受性判断、最小对、BLiMP、SyntaxGym、COGS、MSGS）对于评估神经模型的人类语言表现至关重要。