[论文解读] Neural Acoustic Context Field: Rendering Realistic Room Impulse Response With Neural Fields

Susan Liang, Chao Huang+3 more|arXiv (Cornell University)|Sep 27, 2023

Speech and Audio ProcessingComputer Science被引用 3

一句话总结

该论文提出神经声学上下文场（NACF），一种新颖的隐式神经场方法，通过建模房间几何、材料属性和空间关系等声学上下文，实现高保真度房间脉冲响应（RIR）的生成。通过引入时间相关性模块以处理RIR非平滑的时间动态特性，并采用多尺度能量衰减准则以实现逼真的能量衰减，NACF在SoundSpaces数据集上达到最先进性能，T60误差降低2.36%，EDT误差减少0.014秒。

ABSTRACT

Room impulse response (RIR), which measures the sound propagation within an environment, is critical for synthesizing high-fidelity audio for a given environment. Some prior work has proposed representing RIR as a neural field function of the sound emitter and receiver positions. However, these methods do not sufficiently consider the acoustic properties of an audio scene, leading to unsatisfactory performance. This letter proposes a novel Neural Acoustic Context Field approach, called NACF, to parameterize an audio scene by leveraging multiple acoustic contexts, such as geometry, material property, and spatial information. Driven by the unique properties of RIR, i.e., temporal un-smoothness and monotonic energy attenuation, we design a temporal correlation module and multi-scale energy decay criterion. Experimental results show that NACF outperforms existing field-based methods by a notable margin. Please visit our project page for more qualitative results.

研究动机与目标

• 解决现有基于神经场的RIR生成方法在建模真实环境关键声学特性方面的局限性。
• 通过在神经场框架中显式建模几何、材料和空间声学上下文，提升RIR生成的保真度。
• 通过专用的时间相关性模块，捕捉RIR在直达声和早期反射分量中的非平滑时间动态特性。
• 通过多尺度能量衰减准则，在多个时间尺度上强制实现逼真的能量衰减行为。
• 即使在训练数据有限的情况下仍保持稳健性能，实现少样本RIR生成。

提出的方法

• NACF将音频场景表示为隐式神经场，将发射器和接收器位置映射为RIR输出，利用来自房间边界的多模态声学上下文特征。
• 声学上下文特征包括RGB、深度、表面材料系数以及在采样边界点提取的空间嵌入。
• 多模态融合模块在与时间感知查询结合前，将这些多样化的声学上下文整合为统一表征。
• 时间相关性模块使用膨胀1D卷积并逐步增加卷积核大小，以建模直达和早期RIR分量中的非平滑过渡。
• 多尺度能量衰减准则通过在多个时间尺度上对齐预测RIR的能量衰减趋势与真实值，监督训练过程。
• 对时间查询应用L=10的位置编码，模型使用含跳跃连接的4层MLP进行RIR预测。

实验结果

研究问题

• RQ1 隐式神经场能否有效建模复杂声学上下文（如几何、材料和空间布局）以实现高保真RIR生成？
• RQ2 如何调整神经场以建模RIR的非平滑时间行为，特别是在直达声和早期反射分量中？
• RQ3 在训练过程中强制实施多尺度能量衰减是否能提升生成RIR的真实感与准确性？
• RQ4 所提出方法在仅使用有限训练数据的少样本学习设置下是否具备良好泛化能力？
• RQ5 声学上下文与时间建模的融合如何在超越先前基于神经场的方法基础上提升RIR生成性能？

主要发现

• NACF实现T60误差为2.36%，优于先前最先进方法INRAS的3.14%，相对提升达25%。
• 引入时间相关性模块后，NACF在T60误差上相比INRAS相对降低31%，显著提升对时间动态特性的建模能力。
• C50指标提升至0.50 dB，相比INRAS的0.60 dB相对提升18%，表明早期反射能量保留更佳。
• EDT降低至0.014秒，相比INRAS的0.019秒相对降低26%，显示早期衰减准确性的增强。
• 消融实验表明，若移除声学上下文模块，T60误差将上升至2.96%，EDT上升至0.0183秒，凸显其关键作用。
• 在少样本学习设置下，仅使用5%训练数据，NACF仍保持卓越性能，展现出强大的泛化能力与数据效率。