[论文解读] VocBulwark: Towards Practical Generative Speech Watermarking via Additional-Parameter Injection

Weizhi Liu, Yue Li+1 more|arXiv (Cornell University)|Jan 30, 2026

Generative Adversarial Networks and Image Synthesis被引用 0

一句话总结

VocBulwark 通过一个额外参数注入框架来实现水印注入，该框架冻结模型参数，使用时间适配器和粗到细门控提取器，以实现对各种攻击具有高保真度和鲁棒性 watermarks。

ABSTRACT

Generated speech achieves human-level naturalness but escalates security risks of misuse. However, existing watermarking methods fail to reconcile fidelity with robustness, as they rely either on simple superposition in the noise space or on intrusive alterations to model weights. To bridge this gap, we propose VocBulwark, an additional-parameter injection framework that freezes generative model parameters to preserve perceptual quality. Specifically, we design a Temporal Adapter to deeply entangle watermarks with acoustic attributes, synergizing with a Coarse-to-Fine Gated Extractor to resist advanced attacks. Furthermore, we develop an Accuracy-Guided Optimization Curriculum that dynamically orchestrates gradient flow to resolve the optimization conflict between fidelity and robustness. Comprehensive experiments demonstrate that VocBulwark achieves high-capacity and high-fidelity watermarking, offering robust defense against complex practical scenarios, with resilience to Codec regenerations and variable-length manipulations.

研究动机与目标

• 在不牺牲感知质量的前提下，推动生成语音的模型 provenance 与内容管控的保障。
• 开发一个跨异构声码器工作的水印框架，同时保留原生模型参数。
• 设计机制以抵抗同步与编解码器基的攻击。
• 提供一个优化课程表，以在水印保真度与生成保真度之间取得平衡。
• 在数据集、声码器和攻击场景中评估鲁棒性和可扩展性。

提出的方法

• 引入时间适配器用于声学空间水印嵌入，具备特征对齐、帧级广播和自适应注入机制。
• 提出粗到细门控提取器（Cage），使用门控可分离卷积和多尺度特征聚合，配合双路径池化以实现对水印的鲁棒恢复。
• 在训练中引入攻击仿真器，以模拟常见的、变长度的以及编解码器攻击，增强鲁棒性。
• 采用基于准确度的优化课程表，动态根据水印提取准确度调整感知损失权重。
• 通过将梅尔谱损失、多尺度短时傅里叶变换损失与二元交叉熵等组合损失进行优化，结合分阶段课程安排以实现水印恢复。

Figure 1 : Schematic comparison of generative watermarking paradigms and robustness evaluation. The left panel contrasts our VocBulwark (an Additional-Parameter Injection strategy) against prevalent baselines, including Weight Embedding, Model Fine-tuning, and Input Modification. The right panel vis

实验结果

研究问题

• RQ1 额外参数注入冻结的生成骨干网络是否可以在不损害语音质量的前提下嵌入高容量水印？
• RQ2 如何实现时间不变性以抵御长度变化攻击与编解码器再生？
• RQ3 在多样化失真和神经编解码器下，哪些机制能实现鲁棒水印提取？
• RQ4 自适应课程是否能改善感知保真度与水印可恢复性之间的收敛？

主要发现

• 在扩散和基于GAN的声码器上，VocBulwark 实现了高保真水印语音，在实验中相较基线具有更优的 STOI、PESQ 与 SSIM。
• 时间适配器与渐进特征投影实现高容量水印（高达 2000 bps），同时保持感知质量，SSIM 下降最小。
• 粗到细门控提取器在变长度与编解码器攻击下提供鲁棒水印恢复，在多数据集上优于若干基线。
• 基于准确度的优化课程表在训练过程中有效平衡水印恢复准确度与生成保真度。
• 实验表明对分布内外分布数据在常见、变长度及复合攻击下具有较强鲁棒性。

Figure 2 : The overall framework of VocBulwark. The Temporal Adapter functions as a lightweight module that seamlessly entangles watermarks into acoustic attributes without disrupting the native generation process. Following the Attack Simulator, the Cage achieves precise watermark recovery via a co