[论文解读] Usable Differential Privacy: A Case Study with PSI

Jack Murtagh, Kathryn C. Taylor+2 more|arXiv (Cornell University)|Sep 11, 2018

Privacy-Preserving Technologies in Data参考文献 11被引用 5

一句话总结

本文提出 PSI，一种用户友好的界面，使非专家能够在无需隐私或统计学专业知识的情况下，从敏感数据集中发布差分隐私统计结果。通过 28 名参与者的可用性研究，作者证明 PSI 成功支持非专家配置隐私参数、选择统计量并分配隐私预算，在实现高可用性评分的同时，识别出未来差分隐私工具的关键设计原则。

ABSTRACT

Differential privacy is a promising framework for addressing the privacy concerns in sharing sensitive datasets for others to analyze. However differential privacy is a highly technical area and current deployments often require experts to write code, tune parameters, and optimize the trade-off between the privacy and accuracy of statistical releases. For differential privacy to achieve its potential for wide impact, it is important to design usable systems that enable differential privacy to be used by ordinary data owners and analysts. PSI is a tool that was designed for this purpose, allowing researchers to release useful differentially private statistical information about their datasets without being experts in computer science, statistics, or privacy. We conducted a thorough usability study of PSI to test whether it accomplishes its goal of usability by non-experts. The usability test illuminated which features of PSI are most user-friendly and prompted us to improve aspects of the tool that caused confusion. The test also highlighted some general principles and lessons for designing usable systems for differential privacy, which we discuss in depth.

研究动机与目标

• 为解决当前差分隐私工具可用性不足的问题，这些工具目前需要计算机科学、统计学和隐私方面的专业知识。
• 评估非专家用户是否能够在无技术培训的情况下，有效且准确地使用 PSI 生成差分隐私统计结果。
• 识别在构建差分隐私系统用户界面时面临的可用性挑战与设计原则。
• 通过将 (ε,δ) 等技术概念转化为 95% 置信区间等可理解的术语，提升差分隐私的可及性。
• 通过分析可用性测试中的用户行为与错误模式，总结经验教训，指导未来隐私保护工具的开发。

提出的方法

• PSI 提供图形用户界面，使数据拥有者能够选择隐私级别、从一组内置统计查询中进行选择，并分配隐私预算。
• 系统将低层级的差分隐私参数（ε, δ）转换为高层级、可理解的术语，如 95% 置信区间，以提升用户理解。
• 通过三阶段进行了一项可用性研究，共 28 名参与者参与，任务包括真实世界场景下的隐私参数设置与统计量选择。
• 通过观察用户使用“自言自语”法，系统记录并分析了其操作、错误与反馈。
• 根据研究发现对 PSI 进行了迭代改进，包括增强文档、引入教程模式、改进错误检查机制以及优化界面布局。
• 研究人员使用结构化测试协议，以区分用户因界面混淆导致的错误与因不理解差分隐私概念导致的错误。

实验结果

研究问题

• RQ1 非专家用户能否成功配置并使用 PSI 这类差分隐私工具，以发布准确且具备隐私保护的统计结果？
• RQ2 PSI 的哪些功能最为直观，哪些功能导致非专家用户困惑或出错？
• RQ3 当以置信区间等可理解形式呈现时，用户如何理解并应用 ε 和 δ 等技术隐私参数？
• RQ4 用户在多大程度上依赖系统提供的建议？如何使指导既有效又安全？
• RQ5 从可用性测试中可提炼出哪些通用设计原则，以改进未来差分隐私界面？

主要发现

• 大多数参与者成功完成了 PSI 的核心工作流，包括设置隐私参数、选择统计量、分配隐私预算以及使用高级功能。
• PSI 在系统可用性量表（SUS）上获得高分，表明非专家用户对其可用性感知良好。
• 用户对系统建议高度敏感，凸显在隐私参数设置中需提供谨慎且有充分依据的引导。
• 常见错误多源于对元数据要求和隐私预算分配的误解，而非对核心隐私概念的不理解。
• 可用性研究显示，即使技术背景有限，用户在界面提供清晰、可操作反馈的情况下，也能实现隐私保护结果。
• 该研究推动了 PSI 的具体改进，包括新增教程模式、增强帮助功能以及优化输入验证，以减少用户错误。