[论文解读] Origins of Modern Data Analysis Linked to the Beginnings and Early Development of Computer Science and Information Engineering

Fionn Murtagh|ArXiv.org|Nov 15, 2008

Computability, Logic, AI Algorithms参考文献 34被引用 4

一句话总结

本文追溯了现代数据分析的起源，将其追溯至计算机科学与信息工程的早期发展，强调探索性数据分析作为一种基础方法，早于并奠定了当代数据科学的基础。文章认为，诸如对应分析和多元统计方法等技术，由本泽克里、哥德尔等人开创，使人们得以在大数据时代之前深入洞察复杂数据，其核心在于关注数据结构与编码，而非预设模型。

ABSTRACT

The history of data analysis that is addressed here is underpinned by two themes, -- those of tabular data analysis, and the analysis of collected heterogeneous data. "Exploratory data analysis" is taken as the heuristic approach that begins with data and information and seeks underlying explanation for what is observed or measured. I also cover some of the evolving context of research and applications, including scholarly publishing, technology transfer and the economic relationship of the university to society.

研究动机与目标

• 追溯现代数据分析在计算机科学与信息工程形成初期的智力与技术根源。
• 论证探索性数据分析——尤其是对应分析等无监督方法——在大数据时代之前即在早期科学发现中居于核心地位。
• 挑战仅靠相关性即可推动科学进步的观点，主张数据分析师与领域科学家应建立合作关系。
• 强调从以模型驱动到以数据驱动的科学范式转变，尤其在现代搜索引擎与机器学习的背景下。
• 展示早期数据编码与结构分析技术如何在传统假设检验失效时仍能提供深刻洞见。

提出的方法

• 分析19世纪至1985年期间数据分析的历史发展，聚焦本泽克里、哥德尔、牛顿等关键人物。
• 通过德国工程师协会技术词典（VDI技术词典）与“天图”（Carte du Ciel）项目等案例研究，说明缺乏结构化分析的纯人工数据收集的局限性。
• 运用哲学与认识论视角——借鉴巴迪乌、博克斯与诺维格的思想——来界定数据在科学发现中的作用。
• 强调对应分析是揭示异质性、多变量数据中隐藏结构的核心方法。
• 将监督学习与判别分析与无监督分类（数据挖掘）进行对比，凸显后者作为探索性分析主要模式的特征。
• 考察从视觉与分类学数据组织方式，向面向维度无关、以数学优先为原则的数据处理方式的转变，这一转变在千兆字节时代尤为显著。

实验结果

研究问题

• RQ1 早期计算机科学与信息工程如何塑造了现代数据分析的基础？
• RQ2 探索性数据分析在多大程度上先于并推动了当代数据科学与搜索技术的发展？
• RQ3 为何像VDI词典与天图项目这类大规模数据收集项目，尽管积累了海量数据，却最终失败？
• RQ4 现代搜索引擎所暗示的相关性是否足以替代因果性，作为科学发现的依据？
• RQ5 数据分析师如何通过恰当的数据编码与结构分析，成为科学发现的平等合作者？

主要发现

• VDI技术词典项目失败并非因数据不足，而是因其依赖字母顺序索引，该方式在需要基于主题与系统化组织的背景下已过时。
• 天图项目因人工分析照相底片效率低下而被中止，凸显了自动化、算法化数据处理的必要性。
• 对应分析可在无先验假设下检测多变量数据中的隐藏模式，使其成为探索性分析的强大工具。
• 尽管机器学习技术不断进步，许多数据分析问题仍无法解决，原因在于对数据编码与结构理解不足。
• 从假设驱动的科学转向以数据相关性为基础的发现模式——如谷歌搜索基础设施所体现的——已彻底改变了科学探究方式，但并未取代对解释性模型的需求。
• 唯有当数据分析师深入参与数据编码过程时，才能真正成为科学发现的共同探索者，正如对应分析在揭示复杂数据集潜在结构方面的潜力所证明的那样。