[论文解读] Phonetic Word Embeddings

Rahul Sharma, Kunal Dhawan+1 more|arXiv (Cornell University)|Sep 30, 2021

Music and Audio Processing参考文献 24被引用 4

一句话总结

本文提出了一种新颖的音素词嵌入方法，通过音素特征、带有非对角惩罚的编辑距离以及词末加权机制，模拟人类对声音相似性的感知。该方法在英语音素相似性任务中达到最先进性能，并首次报告了印地语的结果，在基准测试和异形双关语数据集上均优于先前方法。

ABSTRACT

This work presents a novel methodology for calculating the phonetic similarity between words taking motivation from the human perception of sounds. This metric is employed to learn a continuous vector embedding space that groups similar sounding words together and can be used for various downstream computational phonology tasks. The efficacy of the method is presented for two different languages (English, Hindi) and performance gains over previous reported works are discussed on established tests for predicting phonetic similarity. To address limited benchmarking mechanisms in this field, we also introduce a heterographic pun dataset based evaluation methodology to compare the effectiveness of acoustic similarity algorithms. Further, a visualization of the embedding space is presented with a discussion on the various possible use-cases of this novel algorithm. An open-source implementation is also shared to aid reproducibility and enable adoption in related tasks.

研究动机与目标

• 开发一种音素相似性度量方法，以反映人类对口语中声音相似性的感知。
• 学习连续的向量嵌入，将音素相似的词聚类在一起，以支持下游计算音系学任务。
• 通过引入异形双关语数据集，解决音素相似性领域缺乏基准评估机制的问题。
• 将该方法扩展至低资源语言，特别是拼写与发音对应关系高的印地语。
• 通过可学习的音素相似性度量，实现对未见词的零样本比较。

提出的方法

• 该方法基于音素理论中定义良好的独特音素特征，计算两个音素之间的音素相似性。
• 采用带有非对角惩罚的Wagner-Fischer编辑距离算法，对齐音素序列，捕捉上下文相关的声学效应。
• 提出一种新颖的词末音素加权因子，以建模人类对词末音素的感知敏感性。
• 利用音素相似性度量训练连续词嵌入，通过对比学习目标，在向量空间中将相似发音的词聚类。
• 在CMU发音词典上训练和评估模型，并在印地语音素词典上进行实验，通过t-SNE可视化验证聚类效果。
• 使用SemEval-2017任务7的异形双关语数据集作为基准，比较各模型之间的余弦相似性分布。

实验结果

研究问题

• RQ1 基于人类对声音感知的音素相似性度量，能否提升音素任务中词嵌入的质量？
• RQ2 与先前最先进方法PSSVec相比，该方法在标准音素相似性基准上的表现如何？
• RQ3 该方法能否泛化至低资源语言（如印地语），而此前相关工作有限？
• RQ4 嵌入空间是否有效将音素相似的词聚类在一起，t-SNE可视化是否能证明这一点？
• RQ5 该模型在异形双关语任务中，对发音相似但意义不同的词，能否有效捕捉其声学相似性？

主要发现

• 所提方法在英语音素相似性基准上达到最先进性能，优于先前报告的结果。
• 首次报告了印地语音素相似性任务的性能，证明了该方法在低资源印度语言中的适用性。
• 在异形双关语检测任务中，该方法的余弦相似性分布呈现尖锐的高斯分布，均值接近1，表明其对声学相似性的强捕捉能力。
• 在778对异形双关语中，该方法优于PSSVec，'mutter'与'mother'的平均余弦相似度达0.899，而PSSVec给出-0.0123的负相似度。
• t-SNE可视化证实，音素相似的词在嵌入空间中为英语和印地语均形成聚类。
• 该模型对未登录词表现出鲁棒性，因其无需在训练中接触过这些词即可计算相似性。