[论文解读] Multilingual Dysarthric Speech Assessment Using Universal Phone Recognition and Language-Specific Phonemic Contrast Modeling

Eunjung Yeo, Julie Liss+2 more|arXiv (Cornell University)|Jan 29, 2026

Voice and Speech Disorders被引用 0

一句话总结

该论文提出一个面向失语症语音的多语言音素生产评估框架，使用通用音素识别器和语言特定音素对比来计算 PER、PFER 和 PhonCov，在四种语言中与临床评估的可懂度评分相关性有所提升。

ABSTRACT

The growing prevalence of neurological disorders associated with dysarthria motivates the need for automated intelligibility assessment methods that are applicalbe across languages. However, most existing approaches are either limited to a single language or fail to capture language-specific factors shaping intelligibility. We present a multilingual phoneme-production assessment framework that integrates universal phone recognition with language-specific phoneme interpretation using contrastive phonological feature distances for phone-to-phoneme mapping and sequence alignment. The framework yields three metrics: phoneme error rate (PER), phonological feature error rate (PFER), and a newly proposed alignment-free measure, phoneme coverage (PhonCov). Analysis on English, Spanish, Italian, and Tamil show that PER benefits from the combination of mapping and alignment, PFER from alignment alone, and PhonCov from mapping. Further analyses demonstrate that the proposed framework captures clinically meaningful patterns of intelligibility degradation consistent with established observations of dysarthric speech.

研究动机与目标

• 推动可扩展的跨语言构音障碍评估，同时保留语言特定的可懂度因素。
• 将通用音素识别与语言特定音素解释整合，产出可解释的度量。
• 评估映射与对齐如何在英语、西班牙语、意大利语、泰米尔语等语言中提升度量性能。
• 引入 PhonCov 作为一种无对齐的音素覆盖度量，以补充现有指标。

提出的方法

• 使用通用音位识别器（UPR）将语音转写为与语言无关的国际音标序列。
• 利用对比性音位特征距离将 UPR 输出映射到每种语言的音素库。
• 对参考序列与预测序列应用带对比感知替换成本的加权 Needleman–Wunsch 对齐。
• 计算三种指标：对音素级错误的 Per、对特征级差异的 PFER，以及对音素库覆盖的 PhonCov。
• 使用 Kendall’s tau 和自举检验的显著性来评估与临床可懂度评分的一致性。

实验结果

研究问题

• RQ1 语言特定音素解释如何影响不同语言之间音素生产指标与可懂度分数之间的相关性？
• RQ2 音位映射与对齐对 PER、PFER 和 PhonCov 的性能各自的贡献是什么？
• RQ3 无对齐的 PhonCov 指标相比基于对齐的指标是否具有竞争力的预测价值？
• RQ4 不同的通用音素识别器在不同语言间的鲁棒性如何？
• RQ5 一个无需训练的多语言音素生产框架是否能够捕捉英语、西班牙语、意大利语和泰米尔语等语言中临床有意义的失语语音模式？

主要发现

• 在语言特定处理的整合下，通常能在跨语言中提升与可懂度的相关性。
• PER 最多受益于映射与对齐的结合；PFER 主要受益于对齐；PhonCov 受益于映射，且作为无对齐度量仍具竞争力。
• PhonCov 即使不需要对齐，也能提供与对齐基的指标相当的相关性。
• 英语在语言特定处理方面的增益较小，因为 UPR 输出在近音素层面已具备较高就绪度。
• 在所有语言中，没有单一的 UPR 架构占优；语言特定的解释提高了可懂度预测的稳定性。