[论文解读] Sound Representation and Classification Benchmark for Domestic Robots

Maxime Janvier, Xavier Alameda-Pineda+2 more|arXiv (Cornell University)|Feb 15, 2014

Robotic Locomotion and Control参考文献 9被引用 4

一句话总结

本论文提出了一项针对家用机器人声音表征与分类的基准测试，基于在挑战性声学条件下使用NAO机器人采集的真实世界数据集。该研究评估了多种音频特征、后处理技术及分类器，发现k-NN、SVM和QNN结合MFCC与固定尺寸插值方法可在计算成本极低的情况下实现超过92%的准确率，因此特别适合于机器人机载部署。

ABSTRACT

We address the problem of sound representation and classification and present results of a comparative study in the context of a domestic robotic scenario. A dataset of sounds was recorded in realistic conditions (background noise, presence of several sound sources, reverberations, etc.) using the humanoid robot NAO. An extended benchmark is carried out to test a variety of representations combined with several classifiers. We provide results obtained with the annotated dataset and we assess the methods quantitatively on the basis of their classification scores, computation times and memory requirements. The annotated dataset is publicly available at https://team.inria.fr/perception/nard/.

研究动机与目标

• 开发一种专为在真实世界声学环境中运行的家用类人机器人设计的鲁棒声音表征与分类系统。
• 解决机器人音频采集中固有的低质量麦克风、背景噪声、混响及自噪声等挑战。
• 从准确率、计算时间与内存占用角度，评估并比较多种音频特征表征、后处理方法与分类器。
• 为未来机器人听觉与声学场景分析研究提供公开可用的数据集与评估框架。
• 识别出计算效率高且准确率可靠的分类流水线，适用于资源受限机器人平台的实时部署。

提出的方法

• 音频数据通过NAO机器人在真实家庭环境中采集，包含多个声源、背景噪声与混响。
• 研究评估了10种不同的音频特征表征：MFCC、TTFF、小波变换、SAI、BoW，及其与插值和后处理结合的组合。
• 分类采用k-NN、QNN、GMM、HMM与SVM，对序列应用固定尺寸插值以适配非循环模型。
• 在准确率、训练时间、识别时间与内存占用方面进行对比基准测试，所有指标均基于同一数据集测量。
• 信号预处理包括基于能量的分割，以分离短时脉冲声音（如关门声、鼓掌声），假设分割已正确完成。
• 评估聚焦于42类孤立的非重叠短声音（0.1–1.0秒），排除语音或音乐等连续流。

实验结果

研究问题

• RQ1 在存在背景噪声与混响的真实机器人环境下，哪些音频特征表征能实现最高的分类准确率？
• RQ2 在真实世界机器人音频数据集上，k-NN、SVM、HMM、GMM与QNN等分类器在准确率、推理速度与内存使用方面如何比较？
• RQ3 插值、TTFF与BoW等后处理技术对分类性能与计算成本有何影响？
• RQ4 在该基准测试中，k-NN与SVM等低复杂度模型是否能在准确率与效率方面超越HMM等更复杂模型？
• RQ5 各方法的计算与内存需求如何影响其在计算资源有限的机器人平台上实时部署的可行性？

主要发现

• k-NN、SVM与QNN结合MFCC特征与固定尺寸插值，在42类基准测试中达到最高准确率，超过92%，最高达97%。
• MFCC+Interp + k-NN配置实现96.2%准确率，识别时间仅1.5 ms，极具实时应用效率。
• HMM实现高准确率（92.8%），但识别时间显著更长（89 ms），而k-NN与SVM速度极快（0.2–0.3 ms），性能相当。
• 引入插值显著提升准确率——MFCC+Interp在k-NN下达96.2%，在SVM下达97%，优于非插值序列。
• k-NN与QNN内存占用最低（如MFCC+TTFF+BoW为31–460 kB），而HMM与SAI内存需求显著更高（1100–5550 kB），限制其在嵌入式系统中的可行性。
• 特征计算时间最长的是SAI（350 ms）与插值（7.7–8.4 ms），但仍可接受，MFCC每样本仅需2.4 ms。