[论文解读] Towards an Accountable and Reproducible Federated Learning: A FactSheets Approach

Nathalie Baracaldo, Ali Anwar+9 more|arXiv (Cornell University)|Feb 25, 2022

Privacy-Preserving Technologies in Data被引用 9

一句话总结

本文提出了 AFˆ2 框架，这是一种新颖的方法，通过将可验证、防篡改的事实集成到 AI FactSheets 中，实现联邦学习（FL）中的问责性和可复现性。该框架扩展了传统 FactSheets，以支持分布式 FL 环境中的动态、嵌套事实和复杂模型组合，使审计人员能够通过结构化声明和密码学证据验证、复现并认证 FL 过程。

ABSTRACT

Federated Learning (FL) is a novel paradigm for the shared training of models based on decentralized and private data. With respect to ethical guidelines, FL is promising regarding privacy, but needs to excel vis-à-vis transparency and trustworthiness. In particular, FL has to address the accountability of the parties involved and their adherence to rules, law and principles. We introduce AF^2 Framework, where we instrument FL with accountability by fusing verifiable claims with tamper-evident facts, into reproducible arguments. We build on AI FactSheets for instilling transparency and trustworthiness into the AI lifecycle and expand it to incorporate dynamic and nested facts, as well as complex model compositions in FL. Based on our approach, an auditor can validate, reproduce and certify a FL process. This can be directly applied in practice to address the challenges of AI engineering and ethics.

研究动机与目标

• 为解决联邦学习（FL）中问责性缺失的问题，特别是在合规性、审计和信任至关重要的监管环境中。
• 通过形式化可验证、不可否认、可认证、防篡改的声明，将伦理原则如透明性和问责性在 FL 中实际落地。
• 扩展 AI FactSheets 范式，以支持涉及多方和动态模型状态演化的复杂、动态、嵌套 FL 工作流。
• 通过结构化记录模型更新、数据溯源和评估指标，实现 FL 过程的端到端可复现性和可审计性。
• 提供一个支持政府服务和医疗等实际部署场景的实用化实现框架。

提出的方法

• AFˆ2 框架通过将声明（例如，模型更新、数据大小）与密码学证据（例如，哈希值、时间戳）融合，实现对联邦学习的问责性，形成防篡改的事实。
• 该框架扩展了 AI FactSheets，以支持动态和嵌套事实，能够表示跨轮次、参与方和模型聚合的演化 FL 状态。
• 可验证声明通过形式化谓词（例如，'aggregator attests sent_global_model(round, hash)'）表达，可自动与存储的证据进行验证。
• 通过密码学签名和共识机制强制实现不可否认性，确保所有参与方认可共享状态，任何偏差均可在 FactSheet 中检测到。
• 通过存储数据、模型更新和元数据的密码学哈希值实现防篡改性，从而能够检测数据或模型的篡改行为。
• 通过在每轮记录详细的指标（例如，准确率、F1 分数）、模型架构和超参数，实现可审计性，支持完整过程的重建。

实验结果

研究问题

• RQ1 如何系统性地将问责性工程化地融入联邦学习系统，以确保符合治理、风险与合规（GRC）标准？
• RQ2 在存在潜在不可信参与方的去中心化 FL 环境中，哪些机制能够实现可验证、不可否认和防篡改的声明？
• RQ3 如何扩展 AI FactSheets 以支持涉及多个模型更新和数据源的复杂、动态、嵌套 FL 工作流？
• RQ4 在使用结构化、密码学保护的事实的情况下，FL 过程在多大程度上可以被复现和审计？
• RQ5 该框架如何支持在政府和医疗等高风险领域中的实际部署？

主要发现

• AFˆ2 框架成功实现了在 FL 生命周期所有阶段（包括数据处理、模型更新和评估）的可验证、不可否认、可认证和防篡改声明。
• 在政府用例中，框架记录并验证了诸如 'Aggregator attests sent_global_model(3, "a68b0e5989a...")' 和 'Aggregator attests evaluation_results(2, {"acc": 0.43734, ...})' 等声明，确保了可审计性。
• 通过将声明与密码学证据（如训练和测试数据的哈希值）绑定，实现了可验证性，可用于检测数据篡改。
• 通过使用唯一哈希值对模型更新进行相互认可，强制实现不可否认性，任何不合规行为均明确记录在 FactSheet 中。
• 通过记录所有关键参数（如学习率（0.1）、训练轮数（1）和模型架构（Keras-CNN）），框架支持 FL 过程的完整可复现性，可精确重建训练步骤。
• 实现表明，使用 FactSheet 结构可系统化地记录和审计涉及多个参与方和轮次的复杂 FL 工作流（例如，10 轮、5 个参与方）。