[论文解读] Quantifying Human Behavior on the Block Design Test Through Automated Multi-Level Analysis of Overhead Video

Seung-Hwan Cha, James Ainooson+1 more|arXiv (Cornell University)|Nov 18, 2018

Spatial Cognition and Navigation被引用 6

一句话总结

本文提出了一种基于人工智能的框架，利用顶部视角的RGB视频和自动化计算机视觉技术，对人在块设计测验（Block Design Test, BDT）中的人类行为进行定量分析。该系统由自动块识别系统（Automated Block Identification System, ABIS）和基于块序列的认知分析（Cognitive Analysis using Block Sequence, CABS）模块组成，可实现对块放置的帧级追踪与错误检测，CABS模块还能生成包括错误次数和反应时间在内的性能指标可视化图，供临床使用。

ABSTRACT

The block design test is a standardized, widely used neuropsychological assessment of visuospatial reasoning that involves a person recreating a series of given designs out of a set of colored blocks. In current testing procedures, an expert neuropsychologist observes a person's accuracy and completion time as well as overall impressions of the person's problem-solving procedures, errors, etc., thus obtaining a holistic though subjective and often qualitative view of the person's cognitive processes. We propose a new framework that combines room sensors and AI techniques to augment the information available to neuropsychologists from block design and similar tabletop assessments. In particular, a ceiling-mounted camera captures an overhead view of the table surface. From this video, we demonstrate how automated classification using machine learning can produce a frame-level description of the state of the block task and the person's actions over the course of each test problem. We also show how a sequence-comparison algorithm can classify one individual's problem-solving strategy relative to a database of simulated strategies, and how these quantitative results can be visualized for use by neuropsychologists.

研究动机与目标

• 为解决传统块设计测验（BDT）实施过程中缺乏客观、实时行为指标的问题，该方法目前严重依赖主观神经心理学判断。
• 开发一种自动化系统，以捕捉参与者在BDT表现过程中详细的、帧级别的行为数据，如块的放置、错误和移动序列。
• 使神经心理学家能够通过AI生成的指标，获取可量化的、可视化的关于问题解决策略和表现模式的总结。
• 为临床和研究环境中使用低成本传感器数据实现可扩展的、客观的视觉空间认知评估奠定基础。

提出的方法

• 使用吊装的RGB摄像头捕捉参与者进行BDT时的顶部视角视频，采用绿色桌面和较大尺寸的块以提高检测准确性。
• 使用TensorFlow目标检测API，并对SSD MobileNet模型进行微调，以检测手部并过滤掉手部遮挡的帧（IoU阈值 > 0.3）。
• 应用基于OpenCV的几何变换校正透视失真，并定位目标图案的蓝色轮廓以辅助块的位置定位。
• 将校正后的图像划分为n×n个子图像，并进一步将每个子图像划分为象限，基于像素颜色分布分类块的颜色和方向（如NW、NE）。
• 实施CABS系统以分析块序列数据，通过固定位置处标签变化检测错误，并计算反应时间、空间距离和进展模式等指标。
• 生成可视化图表，如误差次数与完成时间的相关散点图，以支持临床解读和个体间比较。

实验结果

研究问题

• RQ1 能否利用顶部RGB视频，通过自动化计算机视觉技术实现实时准确检测和分类块设计测验中的块放置与移动？
• RQ2 基于人工智能的分析在多大程度上能够量化BDT表现中的行为特征，如错误、反应时间及问题解决策略？
• RQ3 从块序列中导出的定量指标（如错误频率、移动模式）与完成时间及表现质量之间存在何种相关性？
• RQ4 该框架能否通过提供超越准确率和时间的客观、可视化认知行为总结，支持临床神经心理学家？

主要发现

• ABIS系统成功实现了在部分遮挡和透视失真等挑战性条件下对块位置和方向的帧级检测。
• CABS系统通过识别固定位置处块标签随时间的变化来检测错误，例如将NW块替换为NE块，从而实现自动错误计数。
• 参与者A完成拼图的速度显著快于参与者B，且错误更少；CABS可视化结果清晰地区分了如参与者C这类表现异常者，其在某一拼图中错误超过20次。
• 误差次数与完成时间的散点图揭示了参与者间不同的表现模式，其中一名参与者（C）在错误频率和持续时间上均表现出显著异常。
• 该框架在一项包含七名大学生参与者的概念验证研究中得到验证，使用标注视频数据并模拟策略进行对比。
• 识别出未来关键改进方向：整合额外传感器模态（如深度数据和眼动追踪）以提升检测鲁棒性和认知洞察力。