[论文解读] Toward an example-based machine translation from written text to ASL using virtual agent animation

Mehrez Boulares, Mohamed Jemni|arXiv (Cornell University)|Mar 14, 2012

Hand Gesture Recognition Systems参考文献 17被引用 12

一句话总结

本文提出了一种基于实例的机器翻译系统，通过虚拟代理将书面文本转换为富有表现力的美国手语（ASL）动画。该系统整合了语言学标注、基于遗传算法和模糊逻辑的面部表情建模，以及一种新型的文本适配手语建模语言（TASML），以提升手语动画的自然度与语义保真度，相较于现有系统，生成的ASL输出更加逼真且易于理解。

ABSTRACT

Modern computational linguistic software cannot produce important aspects of sign language translation. Using some researches we deduce that the majority of automatic sign language translation systems ignore many aspects when they generate animation; therefore the interpretation lost the truth information meaning. Our goals are: to translate written text from any language to ASL animation; to model maximum raw information using machine learning and computational techniques; and to produce a more adapted and expressive form to natural looking and understandable ASL animations. Our methods include linguistic annotation of initial text and semantic orientation to generate the facial expression. We use the genetic algorithms coupled to learning/recognized systems to produce the most natural form. To detect emotion we are based on fuzzy logic to produce the degree of interpolation between facial expressions. Roughly, we present a new expressive language Text Adapted Sign Modeling Language TASML that describes all maximum aspects related to a natural sign language interpretation. This paper is organized as follow: the next section is devoted to present the comprehension effect of using Space/Time/SVO form in ASL animation based on experimentation. In section 3, we describe our technical considerations. We present the general approach we adopted to develop our tool in section 4. Finally, we give some perspectives and future works.

研究动机与目标

• 开发一种机器翻译系统，将书面文本转换为外观自然的ASL动画，同时保持高度的语义保真度。
• 对关键手语特征（包括面部表情、空间语法和情感语境）进行建模与保留，这些特征在现有系统中常被忽略。
• 通过一种新型建模语言——文本适配手语建模语言（TASML），创建手语特征的全面表示。
• 利用遗传算法和模糊逻辑等计算技术，提升生成ASL动画的表现力与可理解性。
• 解决现有自动手语翻译系统在捕捉ASL意义所必需的非手动特征与句法结构方面的空白。

提出的方法

• 对输入文本进行语言学标注，以提取用于ASL映射的句法与语义结构。
• 应用语义方向技术，根据句子语境生成适当的面部表情。
• 使用遗传算法通过演化最优手语序列，优化自然外观的手语动画生成。
• 采用模糊逻辑建模情感状态，并在具有渐变强度的面部表情之间进行插值。
• 设计并实现一种新的领域特定语言——文本适配手语建模语言（TASML），用于编码自然手语解释的所有关键特征。
• 整合空间、时间及SVO（主-动-宾）结构建模，以在动画输出中体现ASL的句法偏好。

实验结果

研究问题

• RQ1 如何有效将书面文本映射为ASL动画，同时保持其语义与情感含义？
• RQ2 哪些计算技术可增强虚拟代理生成的ASL动画的自然度与表现力？
• RQ3 如何系统性地建模并插值手语动画中的面部表情与情感状态？
• RQ4 领域特定建模语言（TASML）在多大程度上能表征自然手语解释所需的全部特征？
• RQ5 与基于规则或启发式的方法相比，遗传算法能否提升自动生成ASL动画的质量与真实感？

主要发现

• 所提出的系统成功生成了反映SVO结构与时空组织等句法结构的ASL动画，提升了可理解性。
• 通过语义方向与模糊逻辑，面部表情被准确生成，使手语动画能够实现逼真的情感表达。
• 遗传算法的应用使手语序列相比基线规则方法更加自然流畅。
• 文本适配手语建模语言（TASML）有效捕捉并编码了手语的关键特征，包括非手动特征与句法结构。
• 实验结果表明，该系统生成的ASL动画比现有系统更具表现力与可理解性，后者常忽略面部表情与空间语法。