[论文解读] Temporal Sub-sampling of Audio Feature Sequences for Automated Audio Captioning

Khoa N. A. Nguyen, Konstantinos Drossos+1 more|arXiv (Cornell University)|Jul 6, 2020

Music and Audio Processing参考文献 17被引用 5

一句话总结

本文提出在多层双向RNN编码器中引入时间子采样，以在每层RNN后减少序列长度，从而更好地捕捉长期音频模式。在Clotho数据集上的实验结果表明，所有指标均持续提升，当子采样因子M=8时表现最佳，尤其在SPIDEr指标上提升1.3点。

ABSTRACT

Audio captioning is the task of automatically creating a textual description for the contents of a general audio signal. Typical audio captioning methods rely on deep neural networks (DNNs), where the target of the DNN is to map the input audio sequence to an output sequence of words, i.e. the caption. Though, the length of the textual description is considerably less than the length of the audio signal, for example 10 words versus some thousands of audio feature vectors. This clearly indicates that an output word corresponds to multiple input feature vectors. In this work we present an approach that focuses on explicitly taking advantage of this difference of lengths between sequences, by applying a temporal sub-sampling to the audio input sequence. We employ a sequence-to-sequence method, which uses a fixed-length vector as an output from the encoder, and we apply temporal sub-sampling between the RNNs of the encoder. We evaluate the benefit of our approach by employing the freely available dataset Clotho and we evaluate the impact of different factors of temporal sub-sampling. Our results show an improvement to all considered metrics.

研究动机与目标

• 解决音频输入（数千个特征向量）与文本字幕（数十个词）之间序列长度不匹配的问题。
• 探究在编码器中显式降低时间分辨率是否能增强对长时音频模式的学习能力。
• 通过在潜在表示中应用分层子采样，提升序列到序列音频字幕模型的性能。
• 使用标准化基准评估不同子采样因子对字幕生成指标的影响。

提出的方法

• 在编码器的每个双向RNN层后应用时间子采样，将序列长度按因子M减少。
• 使用编码器输出的固定长度向量，随后通过基于RNN的解码器生成字幕。
• 保持与DCASE 2020基线模型相同的架构，仅在编码器层之间添加子采样。
• 子采样在所有层中均匀应用，减少时间步数后再输入下一层RNN。
• 该方法保留了序列到序列框架，但增强了编码器对显著、长时音频事件的关注能力。
• 子采样应用于下一层RNN之前，而非最终编码器层之后，以保持分层表征学习能力。

实验结果

研究问题

• RQ1 对音频特征序列进行时间子采样是否能提升音频字幕生成性能？
• RQ2 子采样因子M的选择如何影响不同指标下生成字幕的质量？
• RQ3 是否存在一个最优的子采样因子，使模型在Clotho数据集上性能达到最大？
• RQ4 子采样是否增强了模型捕捉对应单个词语的长期音频模式的能力？
• RQ5 子采样对推理速度和序列长度减少有何影响？

主要发现

• 与M=1相比，使用子采样因子M≥2时，所有评估指标（BLEU、METEOR、CIDEr、SPICE、SPIDEr）均有所提升。
• SPIDEr得分最高达到0.067，对应M=8，较基线提升1.3分。
• 子采样因子M=8和M=16分别使编码器输出长度相比输入减少了98.43%和99.60%。
• 推理时间从M=1时的58.81秒减少至M=16时的20.42秒，显示出显著加速。
• 模型成功识别出音频源（如狗、鸟、人）和动作（如行走、呼吸），但语言建模能力仍较弱。
• 性能提升并非随M增加而单调递增，表明压缩与信息保留之间存在权衡。