[论文解读] scikit-fda: A Python Package for Functional Data Analysis

Carlos Ramos-Carreño, José L. Torrecilla+3 more|arXiv (Cornell University)|Nov 4, 2022

Computational Drug Discovery Methods被引用 13

一句话总结

scikit-fda 是一个用于函数数据分析（FDA）的 Python 包，提供使用与 scikit-learn 兼容 API 的工具，用于表示、预处理和分析函数数据。它支持平滑、配准、降维以及交互式可视化，内置超参数调优和通过 scikit-learn 流水线的模型选择。

ABSTRACT

The library scikit-fda is a Python package for Functional Data Analysis (FDA). It provides a comprehensive set of tools for representation, preprocessing, and exploratory analysis of functional data. The library is built upon and integrated in Python's scientific ecosystem. In particular, it conforms to the scikit-learn application programming interface so as to take advantage of the functionality for machine learning provided by this package: pipelines, model selection, and hyperparameter tuning, among others. The scikit-fda package has been released as free and open-source software under a 3-Clause BSD license and is open to contributions from the FDA community. The library's extensive documentation includes step-by-step tutorials and detailed examples of use.

研究动机与目标

• 解决与 R 中成熟生态系统相比，Python 中缺乏全面且用户友好的 FDA 工具的问题。
• 实现 FDA 工作流与更广泛的 Python 科学计算和机器学习生态系统的无缝集成。
• 为函数数据的预处理、建模和评估提供一致且与 scikit-learn 兼容的 API。
• 同时支持离散化函数数据和基展开表示，以实现灵活的分析。
• 通过详尽的文档、教程和开源贡献，促进可重现的研究。

提出的方法

• 通过离散观测和基展开（如 B 样条、傅里叶）实现函数数据表示，使用类似 scikit-learn 的估计器。
• 引入与 scikit-learn 兼容的转换器用于预处理：平滑（Nadaraya-Watson、局部线性、k-NN）、配准和降维。
• 使用平滑矩阵（帽子矩阵）实现局部加权平滑，采用核函数（高斯、Epanechnikov、均匀）和自适应带宽选择。
• 通过留一法和广义交叉验证（GCV）等交叉验证评分器，支持自动超参数调优，用于平滑参数。
• 通过 scikit-learn 的 API 实现模型选择和流水线构建，包括端到端 FDA 工作流的流水线。
• 提供交互式可视化工具和异常值检测方法，以增强探索性函数数据分析能力。

实验结果

研究问题

• RQ1 如何通过一致且与 scikit-learn 兼容的接口，将函数数据分析有效集成到 Python 科学计算生态系统中？
• RQ2 针对离散化函数数据，最有效的平滑技术是什么，其参数如何实现最优选择？
• RQ3 scikit-learn 的流水线和超参数调优基础设施在多大程度上可被适配用于函数数据工作流？
• RQ4 如何将函数数据预处理（如平滑、配准）模块化并重用于机器学习流水线？
• RQ5 开源、社区驱动的开发在推动 Python 中函数数据分析工具发展方面发挥什么作用？

主要发现

• scikit-fda 为 Python 中的函数数据分析提供了一个全面、开源且可扩展的框架，与 scikit-learn 的 API 完全兼容。
• 该包支持多种平滑方法——Nadaraya-Watson、局部线性回归和 k-NN——采用基于核的加权和自适应带宽选择。
• 通过留一法交叉验证和广义交叉验证（GCV）实现平滑参数的优化，并内置评分器用于模型选择。
• 该库通过 scikit-learn 流水线支持端到端函数数据工作流，包括预处理、模型拟合和超参数调优。
• 交互式可视化和异常值检测工具原生受支持，增强了探索性数据分析能力。
• 该包采用 3 段式 BSD 许可证发布，积极接受社区贡献，确保长期可维护性和可扩展性。