[论文解读] Swar The Voice Operated PC

Kamlesh Sharma, T. Durga Prasad|arXiv (Cornell University)|Jan 1, 2009

Speech and Audio Processing参考文献 1被引用 3

一句话总结

本文提出一种基于隐马尔可夫模型（HMM）的语音操作PC系统，实现通过语音指令进行免提控制。系统通过特征提取（MFCC与能量）处理音频输入，将其与训练好的HMM模型匹配，并执行相应命令，为身体残疾用户及低文化程度人群提供可行的解决方案。

ABSTRACT

Keyboard, although a popular medium, is not very convenient as it requires a certain amount of skill for effective usage. A mouse on the other hand requires a good hand-eye co-ordination. Also current computer interfaces also assume a certain level of literacy from the user. It also expect the user to have certain level of proficiency in English. In our country where the literacy level is as low as 50% in some states, if information technology has to reach the grass root level; these constraints have to be eliminated. As a solution for these, Speech Recognition and hence the concept of Voice operated computer system comes into picture. In this paper we propose a technique to develop a voice recognition system which will be used for controlling computer via speech input from any user i.e. without the use of mouse and / or keyboard. Once developed this system would be of great benefit to physically handicapped people as Instead of scrolling through written procedures on a laptop or handheld computer, they can wear a headset and have their hands and eyes free.

研究动机与目标

• 开发一种无需依赖键盘和鼠标的语音控制PC系统。
• 解决印度身体残疾用户及低文化程度用户在使用计算机时的可用性障碍，其中识字率低至50%。
• 实现基于HMM的语音识别系统，支持基于语音指令的交互，无需英语能力或键盘操作技能。
• 设计一种支持连续语音输入并在真实环境中具备强鲁棒性的命令识别系统。

提出的方法

• 通过麦克风采集音频输入，并通过能量和过零率检测模块进行词语检测。
• 特征提取计算每个语音帧的梅尔频率倒谱系数（MFCC）和归一化能量。
• 使用连续多维隐马尔可夫模型（HMM）进行识别，状态转移由转移概率和观测似然度决定。
• 每个识别出的词语均关联一个独立的HMM模型，该模型基于多个音频样本进行训练，初始模型参数通过训练数据的前N个特征向量设定。
• 系统通过比较模块将实时音频缓冲区与数据库中存储的.wav或.au文件进行比对，以验证命令。
• 基于.NET API实现，以简化开发流程，减少代码量，并支持面向对象编程及硬件交互。

实验结果

研究问题

• RQ1 如何设计一种语音识别系统，使其在无需键盘或鼠标输入的情况下仍能有效运行？
• RQ2 哪些技术可提升身体残疾用户及印度低文化程度人群的可访问性？
• RQ3 如何训练并应用基于HMM的模型，以实现对语音输入的准确词语识别？
• RQ4 特征提取（MFCC与能量）在提升识别准确率方面发挥何种作用？
• RQ5 系统如何区分有效语音指令与无关语音或噪声？

主要发现

• 该系统成功实现了基于HMM语音识别的语音操作PC，支持通过语音指令控制，无需使用键盘或鼠标。
• 使用MFCC与归一化能量的特征提取方法能有效捕捉语音的音素特征，为可靠建模提供支持。
• HMM模型通过欧氏距离将观测值分配至各状态，并基于连续观测估计转移概率。
• 系统使用基于文件的数据库，存储预先录制的语音样本（.au或.wav格式），用于与实时输入进行比对。
• 使用.NET API简化了开发流程，降低了代码复杂度，并支持高效硬件交互，适用于实时处理。
• 系统在真实环境中具备部署可行性，尤其适用于残疾用户及低文化程度人群，但其鲁棒性与连续语音处理能力仍面临挑战。