[论文解读] Reading Task Classification Using EEG and Eye-Tracking Data

Nora Hollenstein, Marius Tröndle+5 more|arXiv (Cornell University)|Dec 12, 2021

Cognitive Science and Mapping被引用 5

一句话总结

本研究利用ZuCo数据集中EEG与眼动追踪数据，对阅读任务——正常阅读与任务特定信息检索——进行分类。通过在句子级与词级特征上应用机器学习，EEG电极特征（尤其是伽马频段）表现出高准确率，而眼动追踪与平均EEG特征仅略高于随机水平，凸显了EEG对任务特定神经模式的敏感性以及记录会话顺序的影响。

ABSTRACT

The Zurich Cognitive Language Processing Corpus (ZuCo) provides eye-tracking and EEG signals from two reading paradigms, normal reading and task-specific reading. We analyze whether machine learning methods are able to classify these two tasks using eye-tracking and EEG features. We implement models with aggregated sentence-level features as well as fine-grained word-level features. We test the models in within-subject and cross-subject evaluation scenarios. All models are tested on the ZuCo 1.0 and ZuCo 2.0 data subsets, which are characterized by differing recording procedures and thus allow for different levels of generalizability. Finally, we provide a series of control experiments to analyze the results in more detail.

研究动机与目标

• 探究机器学习是否能够利用EEG与眼动追踪数据对阅读任务进行分类。
• 比较EEG与眼动追踪模态下，基于句子级与词级特征的模型性能差异。
• 评估任务分类模型在被试内与被试间的一般化能力。
• 分析ZuCo 1.0与ZuCo 2.0中记录会话顺序及会话偏差对分类性能的影响。
• 评估生理信号在捕捉阅读过程中任务特定认知状态方面的鲁棒性。

提出的方法

• 模型基于从EEG与眼动追踪数据中提取的聚合句子级特征与细粒度词级特征进行训练。
• 执行二分类任务，以区分正常阅读与任务特定阅读任务。
• 采用被试内与被试间评估场景，以评估模型的一般化能力。
• 对EEG特征在各频段进行分析，特别关注伽马频段活动。
• 通过逐步减少记录块数量，开展控制实验与消融研究，以隔离会话顺序效应。
• 利用混淆矩阵与不同块子集的性能趋势，分析模型行为与数据变异性。

实验结果

研究问题

• RQ1 机器学习模型能否利用EEG与眼动追踪特征准确分类正常阅读与任务特定阅读？
• RQ2 句子级特征与词级特征在区分阅读任务方面的能力有何差异？
• RQ3 被试间一般化在多大程度上影响分类性能？
• RQ4 记录块的顺序在多大程度上影响模型性能，特别是EEG数据？
• RQ5 哪些EEG频段与电极位置对准确的任务分类贡献最大？

主要发现

• EEG电极特征，尤其是伽马频段，表现出高分类准确率，优于眼动追踪与平均EEG特征。
• 眼动追踪特征与平均EEG特征在块级分类中仅略高于随机猜测水平，表明其对会话特定模式的判别能力有限。
• 混淆矩阵显示，基于EEG的模型错误主要出现在相邻记录块之间，表明脑电信号存在系统性的会话相关变异性。
• 消融研究结果表明，使用EEG电极特征的分类准确率随训练块数量增加而显著提升，表明神经数据中存在对会话顺序的编码敏感性。
• 相比之下，眼动追踪与平均EEG特征在增加块数后仅表现出微弱的性能提升，表明其对会话特定信息的编码能力较弱。
• 结果表明，EEG数据包含可被利用于任务分类的稳健会话有序神经特征，而眼动追踪数据在此目的下效果较弱。