[论文解读] Sign Language Recognition, Generation, and Translation: An Interdisciplinary Perspective

Danielle Bragg, Oscar Koller+10 more|arXiv (Cornell University)|Aug 22, 2019

Hand Gesture Recognition Systems参考文献 95被引用 86

一句话总结

本论文报告了一次跨学科工作坊，揭示了在聋人研究、语言学、NLP、CV和人机交互领域的手语识别、生成与翻译的当前格局、关键挑战及行动事项。

ABSTRACT

Developing successful sign language recognition, generation, and translation systems requires expertise in a wide range of fields, including computer vision, computer graphics, natural language processing, human-computer interaction, linguistics, and Deaf culture. Despite the need for deep interdisciplinary knowledge, existing research occurs in separate disciplinary silos, and tackles separate portions of the sign language processing pipeline. This leads to three key questions: 1) What does an interdisciplinary view of the current landscape reveal? 2) What are the biggest challenges facing the field? and 3) What are the calls to action for people working in the field? To help answer these questions, we brought together a diverse group of experts for a two-day workshop. This paper presents the results of that interdisciplinary workshop, providing key background that is often overlooked by computer scientists, a review of the state-of-the-art, a set of pressing challenges, and a call to action for the research community.

研究动机与目标

• 提供对手语处理当前状态的跨学科概览。
• 识别跨数据集、识别、建模、头像与 UI/UX 等方面的主要挑战。
• 阐明面向跨学科协作和未来研究的可执行行动号召。

提出的方法

• 组织了一场为期两天的工作坊，来自学术界与工业界的39名参与者，横跨多个学科。
• 综合了来自聋人文化、语言学、NLP、CV、图形学和数据集治理的背景知识。
• 围绕数据集、识别、NLP建模、头像与UI/UX等主题结构化分组讨论，以确定最前沿、挑战与解决方案。

实验结果

研究问题

• RQ1 Q1：从跨学科视角看，手语处理的当前格局是什么？
• RQ2 Q2：从跨学科视角看，该领域面临的最大挑战是什么？
• RQ3 Q3：在跨学科领域中共鸣的行动号召有哪些？

主要发现

• 数据集仍然居于核心地位且规模不足；签名者多样性、真实场景的签名以及母语签名者的代表性不足。
• 识别与计算机视觉在连续签名、表述、注释以及跨签名者和情境的泛化方面面临挑战。
• 建模与NLP受到缺乏大规模、可靠注释和手语特有语言表示的制约。
• 头像与图形管线尚未实现完全自动化，需应对“惊异谷”现象、过渡真实感以及手势的调控。
• UI/UX工作显示需要文本与手语融合的界面，以及用于教育和无障碍的实用工具。