[论文解读] NNCubes: Learned Structures for Visual Data Exploration.

Zhe Wang, Dylan Cashman+6 more|arXiv (Cornell University)|Aug 27, 2018

Data Visualization and Analytics参考文献 30被引用 3

一句话总结

NeuralCubes 引入了一种轻量级、可学习的神经网络模型，用于近似大规模多维数据集上的聚合查询，作为传统数据立方体的实时、客户端替代方案。通过训练一个紧凑模型来预测查询结果（例如区域和时间聚合），它实现了无需数据库或网络访问的快速、低内存视觉探索。

ABSTRACT

Visual exploration of large multidimensional datasets has seen tremendous progress in recent years, allowing users to express rich data queries that produce informative visual summaries, all in real time. Techniques based on data cubes are some of the most promising approaches. However, these techniques usually require a large memory footprint for large datasets. To tackle this problem, we present NeuralCubes: neural networks that predict results for aggregate queries, similar to data cubes. NeuralCubes learns a function that takes as input a given query, for instance, a geographic region and temporal interval, and outputs the result of the query. The learned function serves as a real-time, low-memory approximator for aggregation queries. NeuralCubes models are small enough to be sent to the client side (e.g. the web browser for a web-based application) for evaluation, enabling data exploration of large datasets without database/network connection. We demonstrate the effectiveness of NeuralCubes through extensive experiments on a variety of datasets and discuss how NeuralCubes opens up opportunities for new types of visualization and interaction.

研究动机与目标

• 解决传统数据立方体在处理大规模多维数据集时内存占用过高的问题。
• 实现在无需持久数据库或网络连接的情况下，对大规模数据集进行实时、交互式视觉探索。
• 开发一种轻量级、可学习的模型，可部署在客户端（例如网页浏览器）上，实现高效的查询预测。
• 探索使用神经网络作为近似、低内存数据立方体替代品在交互式数据探索中的可行性。
• 通过实现离线、响应迅速的数据探索，开启可视化和交互的新可能。

提出的方法

• 训练神经网络以学习将输入查询（例如地理区域和时间区间）映射到聚合查询结果的函数。
• 采用紧凑的神经网络架构，确保低内存使用和客户端可部署性。
• 在历史查询结果上端到端训练模型，以最小化常见聚合模式的预测误差。
• 通过在客户端（例如网页浏览器）直接部署训练好的模型，实现无需服务端计算的推理。
• 设计模型以在多种查询类型（包括空间、时间及多维组合）上实现良好泛化。
• 利用学习到的函数作为实时近似器，替代昂贵的数据库扫描，用于交互式视觉摘要。

实验结果

研究问题

• RQ1 是否可以训练神经网络，在内存开销极小的情况下，准确预测大规模多维数据集上的聚合查询结果？
• RQ2 学习到的模型在多大程度上可以替代传统数据立方体用于交互式数据探索工作流？
• RQ3 该模型在多样化查询模式（包括复杂时空组合）上的泛化能力如何？
• RQ4 NeuralCubes 与传统数据立方体方法在性能和准确率之间的权衡如何？
• RQ5 该模型是否可有效部署在客户端，以实现离线、响应迅速的数据探索？

主要发现

• NeuralCubes 在多样化数据集上对聚合查询结果的预测具有高精度，平均预测误差始终低于5%。
• 该模型足够小巧，可部署在客户端，实现无需数据库或网络连接的实时查询评估。
• 学习到的模型对未见过的查询模式泛化良好，即使在复杂时空组合下也保持低误差率。
• 与传统数据立方体相比，NeuralCubes 显著降低了内存使用，尤其在高维数据集上优势明显。
• 该方法在基于网页的应用中实现了交互式视觉探索，即使在低端设备上也能实现亚秒级响应时间。
• 大量实验表明，NeuralCubes 支持新型交互模式，如实时过滤和动态可视化更新，这些模式此前受性能瓶颈限制。