[论文解读] SEAM: An Integrated Activation-Coupled Model of Sentence Processing and Eye Movements in Reading

Maximilian M. Rabe, Dario Paape+3 more|arXiv (Cornell University)|Mar 9, 2023

Gaze Tracking and Assistive Technology参考文献 85被引用 4

一句话总结

SEAM 是一种新颖的计算模型，通过将眼动控制的 SWIFT 模型与 Lewis 和 Vasishth 的句子理解框架相结合，实现了眼动控制与句子处理的整合。利用马尔可夫链蒙特卡洛（MCMC）方法进行贝叶斯推断，SEAM 首次成功再现了阅读中的基于相似性的干扰效应，标志着自然语言理解领域首个此类集成动力学模型的诞生。

ABSTRACT

Models of eye-movement control during reading, developed largely within psychology, usually focus on visual, attentional, lexical, and motor processes but neglect post-lexical language processing; by contrast, models of sentence comprehension processes, developed largely within psycholinguistics, generally focus only on post-lexical language processes. We present a model that combines these two research threads, by integrating eye-movement control and sentence processing. Developing such an integrated model is extremely challenging and computationally demanding, but such an integration is an important step toward complete mathematical models of natural language comprehension in reading. We combine the SWIFT model of eye-movement control (Seelig et al., 2020, doi:10.1016/j.jmp.2019.102313) with key components of the Lewis and Vasishth sentence processing model (Lewis & Vasishth, 2005, doi:10.1207/s15516709cog0000_25). This integration becomes possible, for the first time, due in part to recent advances in successful parameter identification in dynamical models, which allows us to investigate profile log-likelihoods for individual model parameters. We present a fully implemented proof-of-concept model demonstrating how such an integrated model can be achieved; our approach includes Bayesian model inference with Markov Chain Monte Carlo (MCMC) sampling as a key computational tool. The integrated Sentence-Processing and Eye-Movement Activation-Coupled Model (SEAM) can successfully reproduce eye movement patterns that arise due to similarity-based interference in reading. To our knowledge, this is the first-ever integration of a complete process model of eye-movement control with linguistic dependency completion processes in sentence comprehension. In future work, this proof of concept model will need to be evaluated using a comprehensive set of benchmark data.

研究动机与目标

• 弥合心理学中眼动控制模型与心理语言学中文句处理模型之间的差距。
• 开发一个统一的动力学模型，以捕捉阅读过程中眼动行为与词后语言处理的双重特征。
• 通过轮廓对数似然分析，实现复杂动力学系统中参数识别。
• 证明利用贝叶斯 MCMC 方法整合完整的眼动过程模型与句子理解模型的可行性。
• 为未来在综合性基准数据集上的评估提供概念验证模型。

提出的方法

• 将眼动控制的 SWIFT 模型与 Lewis 和 Vasishth 句子处理模型的核心组件相整合。
• 采用马尔可夫链蒙特卡洛（MCMC）采样进行贝叶斯推断，以估计整合后模型的参数。
• 应用轮廓对数似然分析，识别并约束动力学系统中的单个模型参数。
• 实现激活耦合动力学，使语言处理通过共享的神经激活状态影响眼动模式。
• 利用阅读行为的实证数据（特别是句法相似性引起的干扰效应）对模型进行校准。
• 使用开源代码和数据仓库以确保可复现性及未来扩展。

实验结果

研究问题

• RQ1 统一的动力学模型能否同时解释阅读过程中的眼动模式与句子处理？
• RQ2 在复杂、高维的动力学系统中，如何可靠地识别与估计参数？
• RQ3 通过整合的语言处理与眼动控制，基于相似性的阅读干扰能在多大程度上被再现？
• RQ4 激活耦合在连接句子理解过程与眼动控制中起到何种作用？
• RQ5 是否可行将既有的眼动模型与句子处理模型整合为一个统一、连贯的计算框架？

主要发现

• SEAM 有效再现了与阅读中基于相似性的干扰相关的眼动模式，如固定注视时间延长和回视次数增加。
• 该模型表明，通过共享的激活基础框架，整合的语言处理与眼动动力学可以自然涌现。
• 轮廓对数似然分析实现了对单个模型参数的可靠识别，支持了模型的有效性与稳定性。
• 贝叶斯 MCMC 采样为整合模型的高维参数空间提供了稳健的推断能力。
• 该模型是首个成功实现完整眼动控制模型与句子处理模型集成的概念验证模型。
• 所有数据、代码与模型均通过 OSF 和波茨坦大学 GitLab 仓库公开，便于复现与扩展。