[论文解读] Navigating the Data Lake with Datamaran: Automatically Extracting Structure from Log Datasets

Yihan Gao, Silu Huang+1 more|arXiv (Cornell University)|Aug 29, 2017

Web Data Mining and Analysis参考文献 27被引用 4

一句话总结

Datamaran 是一种无监督工具，能够自动从半结构化日志数据集中提取结构化关系数据，通过识别字段和记录边界，而无需事先了解记录结构。它通过结合模板生成、同化评分和迭代优化，有效处理多行记录和噪声格式，在 GitHub 日志数据集上实现了 95.5% 的提取准确率，比以往的无监督方法高出 66%。

ABSTRACT

Organizations routinely accumulate semi-structured log datasets generated as the output of code; these datasets remain unused and uninterpreted, and occupy wasted space - this phenomenon has been colloquially referred to as "data lake" problem. One approach to leverage these semi-structured datasets is to convert them into a structured relational format, following which they can be analyzed in conjunction with other datasets. We present Datamaran, an tool that extracts structure from semi-structured log datasets with no human supervision. Datamaran automatically identifies field and record endpoints, separates the structured parts from the unstructured noise or formatting, and can tease apart multiple structures from within a dataset, in order to efficiently extract structured relational datasets from semi-structured log datasets, at scale with high accuracy. Compared to other unsupervised log dataset extraction tools developed in prior work, Datamaran does not require the record boundaries to be known beforehand, making it much more applicable to the noisy log files that are ubiquitous in data lakes. Datamaran can successfully extract structured information from all datasets used in prior work, and can achieve 95% extraction accuracy on automatically collected log datasets from GitHub - a substantial 66% increase of accuracy compared to unsupervised schemes from prior work. Our user study further demonstrates that the extraction results of Datamaran are closer to the desired structure than competing algorithms.

研究动机与目标

• 解决‘数据湖’问题，即大量半结构化日志数据集因缺乏结构而无法被利用。
• 克服现有无监督日志提取工具的局限性，这些工具需要已知的记录边界或假设记录为单行格式。
• 实现原始日志文件到结构化关系格式的全自动、可扩展且高准确率的转换，以支持下游分析。
• 提供一种稳健的解决方案，能够处理多行记录、噪声格式以及单个数据集中异构的结构。
• 在定量基准测试和用户研究中，与 RecordBreaker 及以往的无监督封装工具相比，展示出更优的性能和可用性。

提出的方法

• 通过与人类判断一致的规律性评分函数，将结构提取形式化为优化问题。
• 通过识别在日志行中满足最低覆盖率阈值的重复模式，生成候选结构模板。
• 使用同化评分函数进行剪枝步骤，对模板进行排序并筛选出最一致且连贯的模板。
• 对剩余模板进行迭代评估与优化，以提高结构准确率和一致性。
• 利用行级分析检测字段和记录边界，而无需依赖外部分块或标记技术。
• 支持单个数据集中多种结构的检测，实现从同一日志文件中提取多种不同的记录类型。

实验结果

研究问题

• RQ1 无监督系统是否能够自动从半结构化日志文件中提取结构化关系数据，而无需事先了解记录边界？
• RQ2 与现有无监督工具相比，Datamaran 在处理具有复杂、多行和噪声格式的真实世界日志数据集时，其结构提取效果如何？
• RQ3 通过用户研究验证，Datamaran 的输出在多大程度上与人类期望的数据结构一致？
• RQ4 Datamaran 对参数变化以及企业数据湖中多样的日志格式的鲁棒性如何？
• RQ5 Datamaran 是否能够检测并从单个日志文件中提取多种不同的数据结构，从而实现更全面的数据发现？

主要发现

• Datamaran 在大规模 GitHub 日志数据集上实现了 95.5% 的提取准确率，相比以往的无监督方法提升了 66%。
• 该工具成功从先前研究中使用的全部代表性数据集提取了结构，展示了其广泛的适用性。
• 在用户研究中，六名参与者全部更倾向于 Datamaran 的输出，而非 RecordBreaker 或原始日志文件，表明其输出与人类期望高度一致。
• Datamaran 显著优于 RecordBreaker，后者在相同 GitHub 数据集集合上的提取准确率仅为 29.2%。
• 该系统对参数选择具有鲁棒性，在各种日志格式和噪声水平下均保持高性能。
• Datamaran 独一无二地支持在单个日志文件中检测多种不同的数据结构，这是以往工具所不具备的能力。