[论文解读] Synthesising Sign Language from semantics, approaching "from the target and back"

Michael Filhol, Gilles Falquet|arXiv (Cornell University)|Jul 25, 2017

Hand Gesture Recognition Systems参考文献 8被引用 3

一句话总结

本文提出AZee，一种基于目标语言的符号语言合成方法，通过直接从观察到的符号语言形式构建语法，实现从语义输入到连贯符号的直接生成。通过利用语料数据推导出的参数化生成规则建模功能到形式的映射，AZee生成的表达式与语义表示高度一致，在形式生成保真度和语言恰当性方面优于源-前向方法。

ABSTRACT

We present a Sign Language modelling approach allowing to build grammars and create linguistic input for Sign synthesis through avatars. We comment on the type of grammar it allows to build, and observe a resemblance between the resulting expressions and traditional semantic representations. Comparing the ways in which the paradigms are designed, we name and contrast two essentially different strategies for building higher-level linguistic input: "source-and-forward" vs. "target-and-back". We conclude by favouring the latter, acknowledging the power of being able to automatically generate output from semantically relevant input straight into articulations of the target language.

研究动机与目标

• 解决从高层次语义输入合成符号语言的挑战，而无需依赖预设的句法或词汇类别。
• 开发一种形式化方法，通过实证观察语料数据，捕捉符号语言中系统性的形式-功能映射。
• 对比和分析两种设计策略——源-前向与目标-后向——在构建符号合成语言输入方面的异同。
• 证明基于目标语言形式构建的语法，相比抽象语义范式，能实现更可靠且语义忠实的符号生成。
• 探索将AZee作为基础，构建面向人类友好、基于语义的符号语言创作工具的可行性。

提出的方法

• AZee框架采用最少的语 linguistic 假设：可观察的形式承载意义，存在系统性的形式-功能关联，且语言具有组合性。
• 通过形如 <H, P_i, f(P_i)> 的参数化生成规则建模符号语言，其中 H 为功能头，P_i 为参数，f(P_i) 指定动作形式。
• 通过识别与特定语义功能（如 'side-info' 或 'seq'）相关联的不变形式模式，从标注的符号语言语料中提取规则。
• 从AZee表达式构建功能树，表示语义与动作组件的层次结构。
• 将语义图与AZee树进行比较，评估形式语义与符号语言动作之间的对齐程度。
• 通过分析AZee生成的表达式与标准语义表示之间的对应关系来评估该方法，突出逻辑形式化在表达上的重叠与局限。

实验结果

研究问题

• RQ1 能否通过观察真实符号语言数据中的系统性形式-功能映射，有效构建符号语言语法？
• RQ2 基于实际符号语言形式推导出的目标-后向设计，在语义保真度和形式生成能力方面，与源-前向方法相比如何？
• RQ3 AZee生成的表达式在多大程度上与标准语义表示（如基于描述逻辑或语义图的表示）对齐？
• RQ4 现有逻辑形式化在表达符号语言特有特征（如焦点、序列性或非手部标记）方面存在哪些局限？
• RQ5 AZee能否作为更高阶创作工具的基础，实现将自然语言意义转化为符号语言表达？

主要发现

• 基于观察到的符号语言形式构建的AZee语法，生成的表达式与传统语义表示高度相似，表明语义功能与动作形式之间具有强烈对齐。
• 目标-后向设计确保输入中的每个语义功能均对应一个可直接实现的动作规则，从而实现从语义输入到形式的简单生成。
• 如 'seq' 和 'side-info' 这类仅在焦点上不同的功能，在标准逻辑形式化中难以被直接表示，凸显了基于逻辑模型的关键局限。
• 该方法通过将所有规则建立在实证数据基础上，避免了推测性语言类别，从而生成了一套既简洁又语言上恰当的语法。
• 尽管AZee具有诸多优势，其输入仍需高度抽象，表明需要引入中间层以支持面向人类友好的语义表示。
• 该方法成功通过嵌套功能结构捕捉了施事、受事和语境等复杂关系，展示了强大的组合能力。