[论文解读] Rethinking Abstractions for Big Data: Why, Where, How, and What

Mary Hall, Robert M. Kirby+7 more|arXiv (Cornell University)|Jun 14, 2013

Distributed and Parallel Computing Systems参考文献 8被引用 7

一句话总结

本文主张，现有大数据系统、算法与分析中的抽象机制在应对现代数据前所未有的复杂性时已显不足。文章提出从四个方面重新思考抽象：系统设计、算法模型、不确定性管理与结构发现，以神话中的‘独眼巨人’（Cyclops）为隐喻，构建跨学科协作的变革性框架，实现可扩展、可靠且人类可理解的大数据计算。

ABSTRACT

Big data refers to large and complex data sets that, under existing approaches, exceed the capacity and capability of current compute platforms, systems software, analytical tools and human understanding. Numerous lessons on the scalability of big data can already be found in asymptotic analysis of algorithms and from the high-performance computing (HPC) and applications communities. However, scale is only one aspect of current big data trends; fundamentally, current and emerging problems in big data are a result of unprecedented complexity--in the structure of the data and how to analyze it, in dealing with unreliability and redundancy, in addressing the human factors of comprehending complex data sets, in formulating meaningful analyses, and in managing the dense, power-hungry data centers that house big data. The computer science solution to complexity is finding the right abstractions, those that hide as much triviality as possible while revealing the essence of the problem that is being addressed. The "big data challenge" has disrupted computer science by stressing to the very limits the familiar abstractions which define the relevant subfields in data analysis, data management and the underlying parallel systems. As a result, not enough of these challenges are revealed by isolating abstractions in a traditional software stack or standard algorithmic and analytical techniques, and attempts to address complexity either oversimplify or require low-level management of details. The authors believe that the abstractions for big data need to be rethought, and this reorganization needs to evolve and be sustained through continued cross-disciplinary collaboration.

研究动机与目标

• 解决传统抽象与大数据规模与复杂性现实之间的日益扩大的脱节问题。
• 指出大数据不仅关乎数据量，还涉及结构性复杂性、不可靠性、人类理解能力的局限性以及能耗成本。
• 推动从孤立、低层级的抽象向集成化、全栈式抽象的转变，以平衡开发效率与性能表现。
• 促进系统、算法与数据分析领域之间的协作，构建可持续、可扩展的抽象机制。
• 将核心挑战以四个‘独眼巨人’怪物的形式呈现，象征需要英雄式、跨学科的解决方案。

提出的方法

• 将大数据挑战划分为四大核心领域：系统、算法、不确定性和结构，每一领域均以神话中的独眼巨人作为隐喻。
• 提出兼顾高层编程效率与底层性能控制的系统抽象，尤其适用于异构且能效优化的硬件。
• 设计考虑通信、能耗与容错性等新兴成本的算法模型，而不仅关注原始计算量。
• 引入具备不确定性感知能力的抽象机制，量化并管理在不同分辨率下数据与结果的置信度。
• 设计如概览+细节（overview+detail）等可视化抽象，支持对复杂、高维数据的交互式、多尺度探索。
• 倡导基于认知科学与感知原理的领域特定但具通用性的可视化与分析工具。

实验结果

研究问题

• RQ1 如何在异构架构下，使大数据系统中的抽象机制在提升程序员生产力的同时，仍保持对底层性能的精细控制？
• RQ2 哪些计算抽象能够有效建模并管理分布式系统中通信、能耗与容错性等新兴成本？
• RQ3 如何量化、表示并可视化大数据中的不确定性，以支持可靠的数据分析与决策？
• RQ4 哪些抽象机制能够在不发生过拟合的前提下，实现对高维复杂数据中低维核心结构的发现与验证？
• RQ5 如何设计可视化抽象，以支持交互式、多尺度探索，同时尊重人类的感知与认知能力限制？

主要发现

• 数据可及性、可扩展基础设施与经济价值的汇聚，为大数据研究创造了独特且跨学科的契机。
• 系统、算法与可视化领域中传统的抽象机制不足以应对大数据的复杂性，尤其在处理不确定性和高维结构方面存在明显不足。
• MapReduce模型虽具高开发效率，但对复杂计算过于受限，凸显了对更具表达力的算法抽象的迫切需求。
• 结合概览+细节模式的交互式可视化，能有效利用人类感知带宽，实现对大规模多维数据的探索。
• 四大独眼巨人挑战——系统抽象、算法模型、不确定性与结构发现——彼此关联，需通过联合的、跨学科的解决方案共同应对。
• 有效的抽象必须在通用性与领域特定需求之间取得平衡：既具备广泛适用性，又能满足特定领域需求及分析人员之间的认知差异。