[论文解读] Secure Parallel Processing of Big Data Using Order-Preserving Encryption on Google BigQuery

Timo Schindler, Christoph Skornia|arXiv (Cornell University)|Aug 29, 2016

Cryptography and Data Security参考文献 21被引用 3

一句话总结

本文提出了一种安全且高效的方法，用于在不受信任的云平台（如 Google BigQuery）上并行处理大数据，采用有序保持加密（OPE），具体通过在 Google BigQuery 中结合使用 mOPE 和 AES 加密。实验表明，即使在大规模数据下，加密数据的排序与查询也能在 10 秒内完成，从而实现在不向云服务提供商暴露明文数据的前提下，进行安全的实时分析。

ABSTRACT

With the increase of centralization of resources in IT-infrastructure and the growing amount of cloud services, database management systems (DBMS) will be more and more outsourced to Infrastructure-as-a-Service (IaaS) providers. The outsourcing of entire databases, or the computation power for processing Big Data to an external provider also means that the provider has full access to the information contained in the database. In this article we propose a feasible solution with Order-Preserving Encryption (OPE) and further, state of the art, encryption methods to sort and process Big Data on external resources without exposing the unencrypted data to the IaaS provider. We also introduce a proof-of-concept client for Google BigQuery as example IaaS Provider.

研究动机与目标

• 在不受信任的基础设施即服务（IaaS）平台（如 Google BigQuery）上实现安全的大数据外包处理。
• 在支持排序和查询等关键操作的同时，保持数据的机密性。
• 开发一种实用且高效的客户端加密代理，支持在云原生环境中使用 OPE 和对称加密。
• 评估基于 OPE 的加密在真实世界工作负载下处理大规模数据集时的性能与可扩展性。
• 探索扩展技术以隐藏查询分布，进一步提升安全性，超越基本 OPE 的安全边界。

提出的方法

• 将可变有序保持加密（mOPE）适配至 Google BigQuery 等云 NoSQL 数据库的约束环境。
• 使用具有固定初始化向量的 AES 加密，在保留 OPE 所保证的顺序性的同时保护数据安全。
• 实现一个改进的客户端工具（ebq-client），在将数据上传至 BigQuery 前进行加密，从而实现安全的远程处理。
• 采用二叉树结构表示加密数据，确保明文中的顺序关系在密文中得以保持。
• 利用 BigQuery 的 SQL 接口和异步 API 在加密数据上执行查询，支持范围扫描和比较等操作。
• 引入客户端加密代理，负责数据转换，并确保仅加密数据被发送至云端。

实验结果

研究问题

• RQ1 OPE 是否可有效用于在不受信任的 IaaS 平台（如 Google BigQuery）上实现安全的有序保持大数据处理？
• RQ2 在云环境中对大规模数据集应用 OPE 和 AES 加密时，性能开销如何？
• RQ3 能否构建一个实用的客户端加密代理，以支持在 BigQuery 中对加密数据进行安全的数据上传与查询执行？
• RQ4 随着数据量的增加，系统如何扩展？复杂查询的响应时间如何？
• RQ5 通过查询分布混淆或 ORAM 等额外混淆技术，能在多大程度上减少超出顺序信息的泄露？

主要发现

• 在 Google BigQuery 中对加密数据进行查询，响应时间始终低于 10 秒，即使返回一百万条结果也如此。
• 在标准笔记本电脑上，对一百万个 16 位整数（如信用卡号）进行加密耗时约 2.04 秒，表明在通用硬件上具备可行性。
• 观察到样本大小与加密时间之间存在线性相关性，十万个记录的加密耗时约为 21.75 秒。
• 该系统支持对加密大数据的实时或近实时分析，实现在无需解密的情况下高效处理数据。
• 所提出的客户端加密代理可在保持数据机密性和顺序语义的同时，实现安全的数据处理外包。
• 该解决方案在真实世界的大数据工作负载中具备可扩展性和实用性，即使数据量从可管理规模增长至数十亿记录，仍能保持高效。