[论文解读] SimTensor: A synthetic tensor data generator

Hadi Fanaee‐T, João Gama|arXiv (Cornell University)|Dec 9, 2016

Tensor decomposition and applications参考文献 18被引用 5

一句话总结

SimTensor 是一个开源的独立软件，用于生成具有 CP 或 Tucker 结构的合成张量数据，支持时间动态特性，如周期性波、季节性效应、流式数据、变化点和异常。它通过提供可定制的、与平台无关的数据生成方式，支持非负性和稀疏性等约束，以及导出为 CSV/HDF5 格式，实现了张量分解研究的可重现性。

ABSTRACT

SimTensor is a multi-platform, open-source software for generating artificial tensor data (either with CP/PARAFAC or Tucker structure) for reproducible research on tensor factorization algorithms. SimTensor is a stand-alone application based on MATALB. It provides a wide range of facilities for generating tensor data with various configurations. It comes with a user-friendly graphical user interface, which enables the user to generate tensors with complicated settings in an easy way. It also has this facility to export generated data to universal formats such as CSV and HDF5, which can be imported via a wide range of programming languages (C, C++, Java, R, Fortran, MATLAB, Perl, Python, and many more). The most innovative part of SimTensor is this that can generate temporal tensors with periodic waves, seasonal effects and streaming structure. it can apply constraints such as non-negativity and different kinds of sparsity to the data. SimTensor also provides this facility to simulate different kinds of change-points and inject various types of anomalies. The source code and binary versions of SimTensor is available for download in http://www.simtensor.org.

研究动机与目标

• 为基准测试张量分解算法，解决缺乏全面、真实且可重现的合成张量数据的问题。
• 提供一种与平台无关的开源替代方案，替代基于 MATLAB 的张量生成器，使使用多种编程语言的研究人员能够更广泛地访问。
• 支持随时间变化的张量特性，如周期性、季节性、流式行为和结构变化点。
• 支持异常注入和约束应用（如非负性、稀疏性），以模拟现实世界数据的挑战。
• 通过用户友好的图形界面和标准化的数据导出格式，促进在多种数据配置下对张量分解算法的评估。

提出的方法

• 通过使用多种随机分布模块（如伽马分布、多元正态分布、均匀分布、标准正态分布和正交矩阵）构建因子矩阵，利用 CP 或 Tucker 分解生成合成张量。
• 采用模块化架构，允许用户为因子矩阵和核心张量选择分布类型及约束（如非负性、稀疏性）。
• 通过周期性波、季节性效应和流式数据结构支持时间张量生成，模拟现实世界中随时间演变的数据。
• 集成变化点检测和异常注入机制，以模拟张量数据中的结构变化和离群点。
• 提供导出功能，支持通用格式（CSV、HDF5），实现在多种编程语言（Python、R、C++、Java 等）之间的互操作性。
• 集成高级功能，如基于伽马分布因子的泊松分布数据生成稀疏计数张量，适用于贝叶斯张量分解。

实验结果

研究问题

• RQ1 如何生成能够真实模拟周期性、季节性和流式动态等时间变化行为的合成张量数据？
• RQ2 哪些机制能够有效实现异常和变化点在合成张量数据中的注入，以支持鲁棒算法的评估？
• RQ3 如何系统性地将非负性、稀疏性和列相关性等约束应用于因子矩阵和核心张量？
• RQ4 在可访问性和可扩展性方面，一个独立的开源工具在多大程度上能超越依赖 MATLAB 的张量生成器？
• RQ5 统一框架能否通过可定制、可重现且可扩展的合成数据生成，支持多种张量分解算法？

主要发现

• SimTensor 能够成功生成具有 CP 和 Tucker 结构的合成张量，包括周期性波和季节性效应等复杂时间动态特性。
• 该工具支持变化点和异常的注入，能够用于评估增量式和鲁棒性张量分解算法。
• 它支持非负性和稀疏性约束，适用于评估非负和稀疏张量分解算法。
• 该软件能够基于伽马分布因子生成基于泊松分布数据的稀疏计数张量，特别适用于贝叶斯张量分解。
• SimTensor 的独立架构以及对多种导出格式（CSV、HDF5）的支持，确保了在多种编程环境和平台间的广泛兼容性。
• 该工具为开源且可扩展，支持社区贡献，并可适应当前功能集之外的新算法需求。