[论文解读] Revisiting Label Inference Attacks in Vertical Federated Learning: Why They Are Vulnerable and How to Defend

Yige Liu, Dexuan Xu+3 more|arXiv (Cornell University)|Mar 19, 2026

Adversarial Robustness in Machine Learning被引用 0

一句话总结

该论文质疑垂直联邦学习中的嵌入-标签假设，通过互信息证明底部/顶部模型的角色，并提出通过前移切割层实现的零开销防御与实证验证。

ABSTRACT

Vertical federated learning (VFL) allows an active party with a top model, and multiple passive parties with bottom models to collaborate. In this scenario, passive parties possessing only features may attempt to infer active party's private labels, making label inference attacks (LIAs) a significant threat. Previous LIA studies have claimed that well-trained bottom models can effectively represent labels. However, we demonstrate that this view is misleading and exposes the vulnerability of existing LIAs. By leveraging mutual information, we present the first observation of the "model compensation" phenomenon in VFL. We theoretically prove that, in VFL, the mutual information between layer outputs and labels increases with layer depth, indicating that bottom models primarily extract feature information while the top model handles label mapping. Building on this insight, we introduce task reassignment to show that the success of existing LIAs actually stems from the distribution alignment between features and labels. When this alignment is disrupted, the performance of LIAs declines sharply or even fails entirely. Furthermore, the implications of this insight for defenses are also investigated. We propose a zero-overhead defense technique based on layer adjustment. Extensive experiments across five datasets and five representative model architectures indicate that shifting cut layers forward to increase the proportion of top model layers in the entire model not only improves resistance to LIAs but also enhances other defenses.

研究动机与目标

• 使用信息论分析澄清VFL中底部与顶部模型的实际角色。
• 证明现有LIAs依赖于特征与标签之间的无意对齐，而非真正的标签学习。
• 通过任务重新分配展示LIAs的脆弱性，以打断特征-标签对齐。
• 通过前移切割层实现零开销的防御，增加顶部模型的支配力。
• 在多数据集和多架构上评估防御以及对现有防御策略的鲁棒性。

提出的方法

• 将VFL架构建模为聚合马尔可夫链，以分析跨层的互信息演进。
• 在底部和顶部模型中，随着深度增加，经验估计层输出与标签之间的互信息。
• 引入任务重新分配以打乱特征-标签对齐，并在新任务下评估LIA表现。
• 提出通过前移切割层来增加顶部模型的容量，而不产生额外开销的防御。
• 在原始任务与重新分配任务下比较LIAs，并将攻击准确度映射到原始任务基线以确保公平比较。
• 将结果在五个数据集和五个架构上汇总，以验证发现。

实验结果

研究问题

• RQ1 随着深度增加，底部与顶部VFL模型在标签信息方面是否存在差异？
• RQ2 LIAs的成功是否在很大程度上源于偶然的特征-标签对齐，而非真正的标签学习？
• RQ3 通过任务重新分配打乱特征-标签对齐是否会降低LIAs的表现？前移切割层的防御有多鲁棒？
• RQ4 在不损害预测性能的前提下，前移切割层是否能提升对LIAs的隐私保护效果？

主要发现

• 层输出与标签之间的互信息随层深度增加，指示顶部模型在标签映射中的支配地位。
• 底部模型表现出较弱的标签表示能力，随着被动方数量的增加，顶部模型的代偿作用更明显。
• 任务重新分配降低了LIA的性能，揭示先前的成功依赖于自然的特征-标签对齐，而非真正的标签学习。
• 前移切割层（将更多模型转移到顶部）为对LIAs的零开销防御提供保护，并可能提升整体模型性能。
• 五个数据集和五种架构的实验表明，向前移动切割层带来显著的防御收益，并增强其他防御措施。