[论文解读] Posture and sequence recognition for Bharatanatyam dance performances using machine learning approach

Tanwi Mallick, Partha Pratim Das+1 more|arXiv (Cornell University)|Sep 24, 2019

Human Pose and Action Recognition被引用 14

一句话总结

本文提出了一种基于Kinect多模态数据（音频、视频和运动信号）的机器学习框架，用于婆罗多舞（Bharatanatyam）姿态与动作序列识别。该框架利用卷积神经网络（CNN）实现99%的姿态识别准确率，并在关键帧提取方面达到83.5%的准确率，从而实现对阿达夫舞步（Adavu dance units）的鲁棒分析，适用于舞蹈转录与教学系统等应用。

ABSTRACT

Understanding the underlying semantics of performing arts like dance is a challenging task. Dance is multimedia in nature and spans over time as well as space. Capturing and analyzing the multimedia content of the dance is useful for the preservation of cultural heritage, to build video recommendation systems, to assist learners to use tutoring systems. To develop an application for dance, three aspects of dance analysis need to be addressed: 1) Segmentation of the dance video to find the representative action elements, 2) Matching or recognition of the detected action elements, and 3) Recognition of the dance sequences formed by combining a number of action elements under certain rules. This paper attempts to solve three fundamental problems of dance analysis for understanding the underlying semantics of dance forms. Our focus is on an Indian Classical Dance (ICD) form known as Bharatanatyam. As dance is driven by music, we use the music as well as motion information for key posture extraction. Next, we recognize the key postures using machine learning as well as deep learning techniques. Finally, the dance sequence is recognized using the Hidden Markov Model (HMM). We capture the multi-modal data of Bharatanatyam dance using Kinect and build an annotated data set for research in ICD.

研究动机与目标

• 解决印度古典舞（ICD）中舞蹈视频分割、关键姿态识别与舞蹈序列识别的基础挑战，聚焦于婆罗多舞。
• 开发一种多模态系统，利用音频（sollukattu）、视频与运动数据，提升对舞蹈表演的语义理解。
• 构建婆罗多舞阿达夫（Adavus）的标注数据集，用于ICD分析与语义建模研究。
• 通过准确识别舞蹈姿态与序列，支持舞蹈转录、教学系统与动画生成等应用。
• 通过在统一框架中同时解决三个核心问题——分割、姿态识别与序列识别——克服先前研究的局限性。

提出的方法

• 利用音乐线索（sollukattu与节拍）对舞蹈视频进行分割，并提取代表显著姿态的关键帧（K-frames）。
• 从Kinect提取骨骼关节点数据与RGB帧，生成用于高斯混合模型（GMM）的角特征，以及用于支持向量机（SVM）的HOG特征，以实现姿态识别。
• 在RGB帧的HOG特征上训练卷积神经网络（CNN），将23种姿态类别合并为15类，以提升泛化能力。
• 使用隐马尔可夫模型（HMMs）对舞蹈序列进行建模，基于姿态之间的时序转换识别阿达夫（Adavu）模式。
• 在教学系统评估中应用动态时间规整（DTW）对运动序列进行对齐与比较。
• 构建一个包含标注姿态与序列的婆罗多舞阿达夫数据集，用于训练与评估。

实验结果

研究问题

• RQ1 如何利用音频与运动线索从婆罗多舞舞蹈视频中有效提取关键姿态？
• RQ2 哪些机器学习模型在基于骨骼与视觉数据识别婆罗多舞不同姿态时达到最高准确率？
• RQ3 如何利用隐马尔可夫模型（HMMs）从姿态的时间序列中识别结构化舞蹈序列（阿达夫）？
• RQ4 特征工程与模型架构（如GMM、SVM、CNN）对姿态识别准确率有何影响？
• RQ5 所提系统在多大程度上可支持舞蹈转录与自动化教学等应用？

主要发现

• 基于音频分割的关键帧提取准确率达83.5%，利用节拍与sollukattu音乐线索实现。
• 使用骨骼数据角特征的高斯混合模型（GMM）在23个姿态类别上实现83%的姿态识别准确率。
• 使用RGB帧HOG特征的支持向量机（SVM）在姿态识别中实现98%的准确率。
• 经过微调的卷积神经网络（CNN）在将23个姿态类别合并为15类后，实现99%的姿态识别准确率。
• 基于HMM的序列识别模型在识别阿达夫模式方面表现优异，混淆矩阵显示各类阿达夫的分类近乎完美。
• 该框架可支持实际应用，如舞蹈转录、基于DTW对齐的自动化教学系统，以及舞蹈序列的3D动画生成。