[论文解读] Stutter Diagnosis and Therapy System Based on Deep Learning

Gresha Bhatia, Binoy Saha+3 more|arXiv (Cornell University)|Jul 13, 2020

Stuttering Research and Treatment参考文献 4被引用 6

一句话总结

本文提出了一种基于深度学习的自动口吃诊断与个性化治疗推荐系统，采用门控循环卷积神经网络（GR-CNN）对梅尔频率倒谱系数（MFCC）特征进行分析，以分类口吃类型与严重程度，并利用基于支持向量机（SVM）的智能体推荐有效疗法。该系统通过学习口吃特征描述与治疗结果之间的相关性，实现了高精度的分类与个性化治疗建议。

ABSTRACT

Stuttering, also called stammering, is a communication disorder that breaks the continuity of the speech. This program of work is an attempt to develop automatic recognition procedures to assess stuttered dysfluencies and use these assessments to filter out speech therapies for an individual. Stuttering may be in the form of repetitions, prolongations or abnormal stoppages of sounds and syllables. Our system aims to help stutterers by diagnosing the severity and type of stutter and also by suggesting appropriate therapies for practice by learning the correlation between stutter descriptors and the effectiveness of speech therapies on them. This paper focuses on the implementation of a stutter diagnosis agent using Gated Recurrent CNN on MFCC audio features and therapy recommendation agent using SVM. It also presents the results obtained and various key findings of the system developed.

研究动机与目标

• 开发一种基于语音信号分析的自动化系统，用于诊断口吃严重程度与类型。
• 识别口吃特征描述（如重复、延长、阻断）与治疗效果之间的相关性。
• 设计一种基于个体口吃特征画像的个性化治疗推荐引擎。
• 评估门控循环卷积神经网络（GR-CNN）在MFCC特征上对口吃分类的性能。
• 将诊断与治疗推荐整合为统一的临床决策支持系统。

提出的方法

• 口吃诊断智能体采用门控循环卷积神经网络（GR-CNN）模型，基于从语音样本中提取的梅尔频率倒谱系数（MFCC）特征进行训练。
• MFCC特征用于表征语音的频谱特性，捕捉与不流畅性相关的时序与频谱模式。
• 系统利用GR-CNN架构对口吃类型（重复、延长、阻断）进行分类，并估计严重程度等级。
• 独立的治疗推荐智能体使用支持向量机（SVM）将口吃特征描述映射至有效的治疗干预措施。
• 系统通过标注数据学习口吃特征与治疗结果之间的关联，实现个性化推荐。
• 该流程将诊断与推荐整合为统一框架，适用于临床应用。

实验结果

研究问题

• RQ1 深度学习模型能否有效基于音频特征对口吃类型（重复、延长、阻断）进行分类？
• RQ2 结合MFCC特征与GR-CNN，口吃严重程度与类型诊断的准确率能提升到何种程度？
• RQ3 基于SVM的模型在识别口吃特征描述后，能否有效推荐合适的治疗方案？
• RQ4 特定口吃特征与特定言语治疗成功之间存在何种相关性？
• RQ5 集成系统能否提供个性化、数据驱动的口吃治疗推荐？

主要发现

• 门控循环卷积神经网络（GR-CNN）在使用MFCC特征时，对口吃类型的分类表现出高准确率，显示出在不流畅性检测方面的强大性能。
• 该系统成功区分了语音信号中的重复、延长与异常停顿。
• 基于SVM的治疗推荐智能体在口吃特征描述与合适治疗干预之间建立了有效映射。
• 诊断与治疗推荐的集成实现了基于个体口吃特征画像的个性化治疗建议。
• 该系统在口吃评估与治疗规划中展现出实时临床部署的潜力。
• 关键发现表明，利用深度学习与监督学习实现自动化口吃管理具有可行性。