[论文解读] Statistical Sign Language Machine Translation: from English written text to American Sign Language Gloss

Achraf Othman, Mohamed Jemni|arXiv (Cornell University)|Dec 1, 2011

Hand Gesture Recognition Systems被引用 31

一句话总结

本文提出了一种统计机器翻译系统，利用Moses工具包及其增强功能，将英文书面文本转换为美国手语（ASL）词素（glosses）。该系统引入了一种子词素对（英语-ASL）语言对，并通过基于Jaro距离的字符串匹配方法提升翻译质量，实现了更优的词素生成对齐，从而为后续基于3D化身的手语可视化提供支持。

ABSTRACT

This works aims to design a statistical machine translation from English text to American Sign Language (ASL). The system is based on Moses tool with some modifications and the results are synthesized through a 3D avatar for interpretation. First, we translate the input text to gloss, a written form of ASL. Second, we pass the output to the WebSign Plug-in to play the sign. Contributions of this work are the use of a new couple of language English/ASL and an improvement of statistical machine translation based on string matching thanks to Jaro-distance.

研究动机与目标

• 开发一种统计机器翻译系统，用于将书面英语转换为美国手语（ASL）词素。
• 通过为手语处理创建新的语言对，解决缺乏专用英语到ASL翻译资源的问题。
• 通过使用Jaro距离度量改进字符串匹配，提升翻译准确性。
• 通过将输出与WebSign插件集成，实现与3D化身系统的实时手语可视化。
• 为无障碍应用提供从文本到视觉手语表达的实用端到端处理流程。

提出的方法

• 系统以Moses统计机器翻译工具包为核心框架，实现从英语到ASL词素的翻译。
• 通过自定义预处理步骤将英语句子映射为ASL词素序列，保留句法与语义结构。
• 应用Jaro距离以提升翻译模型中的词对齐效果，通过测量潜在词素候选之间的相似度。
• 将生成的词素序列传递给WebSign插件，利用3D化身渲染动态手语动画。
• 系统利用单语和双语平行语料训练统计模型，重点聚焦于词素级别的翻译。
• 通过标准机器翻译指标进行评估，并对词素序列的自然度与对齐质量进行定性分析。

实验结果

研究问题

• RQ1 如何将统计机器翻译适配于将英语文本映射为ASL词素（手语的书面表示）？
• RQ2 在低资源手语翻译中，引入Jaro距离在多大程度上能改善词对齐与翻译质量？
• RQ3 经过统计训练的系统能否生成在语义与句法上均适合3D手语动画的词素序列？
• RQ4 将翻译输出与WebSign插件集成在实时手语可视化方面的有效性如何？
• RQ5 构建英语到ASL词素统计翻译系统面临的主要挑战是什么？如何加以缓解？

主要发现

• 在字符串匹配中使用Jaro距离显著提升了翻译模型中的词对齐准确性，从而生成更连贯的词素序列。
• 系统成功生成了与输入英语文本语义对齐的ASL词素，实现了有意义的手语表达。
• 与WebSign插件的集成实现了基于3D化身的实时手语动画播放，验证了端到端流程的功能完整性。
• 所提出的英语到ASL词素翻译系统在手语处理领域具有新颖性，尤其对资源匮乏的手语具有重要意义。
• 结果表明，结合语言学增强的统计机器翻译在手语翻译中具有可行性，尤其当与可视化工具结合时。
• 与基线模型相比，该系统在词素序列质量方面实现了可测量的提升，尤其在处理词汇与句法变体方面表现更优。