[论文解读] Video Human Segmentation using Fuzzy Object Models and its Application to Body Pose Estimation of Toddlers for Behavior Studies

Thiago V. Spina, Mariano Tepper+5 more|arXiv (Cornell University)|May 29, 2013

Human Pose and Action Recognition参考文献 29被引用 3

一句话总结

本文提出了一种半自动视频分割方法，采用扩展的云系统模型（CSM）结合2D人体简笔画模型，联合实现人体部位分割与2D姿态估计，从而实现对幼儿行走时手臂不对称性的精确检测——这可能是自闭症的潜在行为标志。该方法通过仅需单帧初始化，显著减少了人工工作量，同时与专家评估结果保持高度相关，具有较强的临床相关性。

ABSTRACT

Video object segmentation is a challenging problem due to the presence of deformable, connected, and articulated objects, intra- and inter-object occlusions, object motion, and poor lighting. Some of these challenges call for object models that can locate a desired object and separate it from its surrounding background, even when both share similar colors and textures. In this work, we extend a fuzzy object model, named cloud system model (CSM), to handle video segmentation, and evaluate it for body pose estimation of toddlers at risk of autism. CSM has been successfully used to model the parts of the brain (cerebrum, left and right brain hemispheres, and cerebellum) in order to automatically locate and separate them from each other, the connected brain stem, and the background in 3D MR-images. In our case, the objects are articulated parts (2D projections) of the human body, which can deform, cause self-occlusions, and move along the video. The proposed CSM extension handles articulation by connecting the individual clouds, body parts, of the system using a 2D stickman model. The stickman representation naturally allows us to extract 2D body pose measures of arm asymmetry patterns during unsupported gait of toddlers, a possible behavioral marker of autism. The results show that our method can provide insightful knowledge to assist the specialist's observations during real in-clinic assessments.

研究动机与目标

• 开发一种在复杂条件下（如遮挡和光照不足）仍具鲁棒性的视频中关节连接人体的分割方法。
• 将云系统模型（CSM）框架扩展至处理2D关节人体，利用关系型简笔画模型保持各部分连接性。
• 实现在临床应用中对视频进行准确、半自动的2D人体姿态估计，用于自闭症谱系障碍（ASD）的早期检测。
• 量化并检测刻板运动行为（如无支撑行走时的臂部不对称性），作为幼儿自闭症的潜在行为标志。

提出的方法

• 将云系统模型（CSM）扩展为将每个身体部位（如头部、躯干、四肢）表示为模糊对象云，以捕捉边界位置的形状变化与不确定性。
• 采用2D简笔画模型连接各个身体部位云，编码关节连接与运动学约束，以在各帧间保持解剖学上的合理性。
• 采用多尺度搜索优化简笔画模型的参数，使CSM云与每帧视频中真实身体部位对齐。
• 通过评估各搜索位置下CSM的不确定性区域实现分割，利用形状、颜色和纹理线索引导轮廓勾画。
• 姿态估计基于优化后的简笔画配置获得，上肢与前臂的不对称性评分被计算以检测异常运动模式。
• 该方法仅需单帧交互式初始化，之后分割与姿态估计可自动传播至整个视频序列。

实验结果

研究问题

• RQ1 尽管存在形变与遮挡，模糊对象模型（如CSM）是否能有效扩展以处理视频中的2D关节人体？
• RQ2 CSM结合简笔画关系模型在真实世界幼儿视频序列中，能在多大程度上实现准确且鲁棒的同步分割与2D姿态估计？
• RQ3 计算出的臂部不对称性评分与临床专家对幼儿无支撑行走时对称性的视觉评分之间的相关性如何？
• RQ4 该方法能否检测到细微的、可能具有刻板特征的运动行为（如不对称的前臂摆动或前臂并行摆放），这些行为可能作为ASD的早期标志？
• RQ5 该方法的半自动特性（仅需一次初始化帧）在临床评估中是否具有实际可行性？

主要发现

• 所提方法在视频帧间实现了高精度的人体分割，成功处理了自遮挡、关节运动与背景杂波。
• 计算出的臂部不对称性评分与专家视觉评分高度相关，证明了其临床有效性与可靠性。
• 该系统通过仅需单帧初始化，显著减少了人工工作量，之后姿态与分割可自动传播至整个视频。
• 该方法检测到一名后确诊为自闭症的幼儿存在异常步态与持续的臂部不对称性，支持其作为辅助诊断工具的潜力。
• 在某些情况下观察到误报，如受试者#2，其前臂角度差异提示不对称，但最终不对称性评分未确认该现象，表明仍有优化空间。
• 该方法成功捕捉并量化了刻板运动行为（如前臂并行摆放），表明其在检测更广泛ASD相关运动模式方面具有应用潜力。