[论文解读] Sign Language Lexical Recognition With Propositional Dynamic Logic

Arturo Curiel, Christophe Collet|arXiv (Cornell University)|Mar 26, 2014

Hand Gesture Recognition Systems参考文献 16被引用 3

一句话总结

本文提出一种基于命题动态逻辑的正式框架（PDL$_{\mathsf{SL}}$），用于将法国手语手势建模为关键姿势与动作的序列，从而实现从2D手部追踪数据中半自动识别与验证。其主要贡献在于基于逻辑的表示方法，支持对手语形态结构与动态转换的结构化分析，并通过在真实语料上实现的原型验证系统得到验证。

ABSTRACT

This paper explores the use of Propositional Dynamic Logic (PDL) as a suitable formal framework for describing Sign Language (SL), the language of deaf people, in the context of natural language processing. SLs are visual, complete, standalone languages which are just as expressive as oral languages. Signs in SL usually correspond to sequences of highly specific body postures interleaved with movements, which make reference to real world objects, characters or situations. Here we propose a formal representation of SL signs, that will help us with the analysis of automatically-collected hand tracking data from French Sign Language (FSL) video corpora. We further show how such a representation could help us with the design of computer aided SL verification tools, which in turn would bring us closer to the development of an automatic recognition system for these languages.

研究动机与目标

• 解决自动识别系统中手语缺乏正式、机器可处理描述的问题。
• 使用正式的逻辑框架，将手语手势建模为关键姿势及其转换的序列。
• 通过逻辑公式，实现对自动追踪的手语数据与词典中手势描述的一致性验证。
• 支持计算机辅助工具的开发，用于手语识别与验证。
• 构建一种灵活、可扩展的形式化体系，可适配不同手语及追踪技术。

提出的方法

• 定义一种正式逻辑PDL$_{\mathsf{SL}}$，作为专为手语表达而定制的命题动态逻辑的实例化。
• 将手势建模为由手部构型、位置、朝向及动作所表征的关键姿势序列。
• 使用基本集合表示身体动作器（如：主导手、非主导手、右手、左手）、动作位置（如：HEAD、CHEST）及方向向量（如：↑、↗、→）。
• 将每个关键姿势编码为命题原子的合取（例如：$\Xi^{\mathbb{R}}_{\mathtt{FACE}}$、$\mathcal{F}^{\mathbb{R}}_{\mathtt{CLAMP}}$），并将转换编码为模态算子（例如：$\leftarrow_{\mathbb{R}} \cap \rightarrow_{\mathbb{L}}$）。
• 从追踪的视频帧构建带标签的转移系统（LTS），其中节点表示姿势，边表示动作。
• 实现一种验证算法，检查词典数据库中的手势公式是否在生成的LTS的任意子序列中成立。

实验结果

研究问题

• RQ1 命题动态逻辑能否有效用于正式描述手语手势的形态与动态结构？
• RQ2 逻辑形式化体系如何表示来自2D追踪系统的多通道、部分同步的手语数据？
• RQ3 逻辑公式在多大程度上可支持对自动识别的手语序列的验证？
• RQ4 该形式化体系如何在保持语义一致性的同时处理不完整或有噪声的追踪数据？
• RQ5 该框架能否扩展以支持识别、错误纠正，并与现有手语表示系统集成？

主要发现

• PDL$_{\mathsf{SL}}$形式化体系成功使用命题原子对姿势、构型与动作进行建模，精确描述了手语的形态结构。
• 该框架通过逻辑模型检测方法，支持将追踪的手语序列与词典数据库进行一致性验证，算法1可为每个状态返回候选手势匹配。
• 系统通过验证生成的带标签转移系统（LTS）的一致性，能够检测并丢弃简单的追踪错误。
• 该形式化体系具有可扩展性，可通过共享命题原子与现有手语表示系统（如HamNoSys或Zebedee）集成。
• 该方法支持半自动识别，并为未来扩展概率建模与改进语义验证奠定基础。