[论文解读] The Conundrum of Trustworthy Research on Attacking Personally Identifiable Information Removal Techniques

Sebastian Ochs, Ivan Habernal|arXiv (Cornell University)|Mar 9, 2026

Privacy-Preserving Technologies in Data被引用 0

一句话总结

本文批判性分析当前对 PII 删除攻击的评估存在缺陷，认为私人数据对正确评估至关重要，并且展示许多报道的攻击可能依赖数据泄露、记忆化或公开信息，而非 PII 删除本身的弱点。

ABSTRACT

Removing personally identifiable information (PII) from texts is necessary to comply with various data protection regulations and to enable data sharing without compromising privacy. However, recent works show that documents sanitized by PII removal techniques are vulnerable to reconstruction attacks. Yet, we suspect that the reported success of these attacks is largely overestimated. We critically analyze the evaluation of existing attacks and find that data leakage and data contamination are not properly mitigated, leaving the question whether or not PII removal techniques truly protect privacy in real-world scenarios unaddressed. We investigate possible data sources and attack setups that avoid data leakage and conclude that only truly private data can allow us to objectively evaluate vulnerabilities in PII removal techniques. However, access to private data is heavily restricted - and for good reasons - which also means that the public research community cannot address this problem in a transparent, reproducible, and trustworthy manner.

研究动机与目标

• 质疑当前针对移除文本的 PII 重建攻击评估的有效性。
• 主张若无法访问私有数据，公开研究就无法可靠判断攻击是否真正揭示了隐私泄露。
• 识别导致攻击成功膨胀的数据泄露与数据污染来源。
• 提出有原则的攻击设置，并强调为正确评估 PII 保护需要私有数据。

提出的方法

• 批判性回顾近来提出对 LLMs 及 PII 移除文本的 PII 重建攻击相关的研究。
• 考察潜在的数据泄露与数据记忆作为攻击成功的替代解释。
• 在真实世界数据上进行两项示例性实验（捷克法院公告与英文旅游视频）以说明现有评估的局限性。
• 分析攻击设置以展示为何只有私有数据才是对 PII 称保护隐私保证进行客观评估的必要条件。

实验结果

研究问题

• RQ1 对现有 PII 重构攻击评估的有效性是否从根本上存在缺陷？
• RQ2 在无法获取真实敏感数据的情况下，公开研究者能否解决 PII 重构评估中的缺陷？
• RQ3 数据泄露与记忆化在报道的攻击成功中扮演了怎样的角色？
• RQ4 不依赖公开私有数据暴露的、有效的、隐私保护的攻击设置应具备哪些要素？

主要发现

• 当前对 PII 重建攻击的评估因数据泄露与污染而放大了重新识别分数。
• 若没有私有数据，很难区分攻击是推断出私有信息，还是简单地重复从预训练中记忆的内容。
• 使用公开人物或广泛可用信息的公开数据集和基准可能使攻击成功产生偏差，将隐私遭受破坏与模式匹配混为一谈。
• 依赖于在原始数据上进行微调的模型记忆化的攻击可能高估 PII 删除方法的隐私风险。
• 在文本领域实现正式的隐私保证（如微分隐私）仍然具有挑战性，与密码学或 DP 框架中的正式保证不同。