[论文解读] PyTSK: A Python Toolbox for TSK Fuzzy Systems

Yuqi Cui, Dongrui Wu+2 more|arXiv (Cornell University)|Jun 7, 2022

Fuzzy Logic and Control Systems被引用 4

一句话总结

PyTSK 是一个 Python 工具箱，可利用模糊聚类或小批量梯度下降（MBGD）优化，高效地开发 Takagi-Sugeno-Kang（TSK）模糊系统。基于 scikit-learn 和 PyTorch 构建，它支持统一正则化、高维去模糊化和 DropRule 等先进技术，显著提升了大规模数据应用中的泛化能力和可扩展性。

ABSTRACT

This paper presents PyTSK, a Python toolbox for developing Takagi-Sugeno-Kang (TSK) fuzzy systems. Based on scikit-learn and PyTorch, PyTSK allows users to optimize TSK fuzzy systems using fuzzy clustering or mini-batch gradient descent (MBGD) based algorithms. Several state-of-the-art MBGD-based optimization algorithms are implemented in the toolbox, which can improve the generalization performance of TSK fuzzy systems, especially for big data applications. PyTSK can also be easily extended and customized for more complicated algorithms, such as modifying the structure of TSK fuzzy systems, developing more sophisticated training algorithms, and combining TSK fuzzy systems with neural networks. The code of PyTSK can be found at https://github.com/YuqiCui/pytsk.

研究动机与目标

• 为解决缺乏全面、用户友好的 Python 库来开发结合现代优化技术的 TSK 模糊系统的问题。
• 提升 TSK 模糊系统在大规模数据应用中的可扩展性和泛化能力。
• 将最先进的基于 MBGD 的优化方法整合到一个统一、可扩展的框架中，兼容深度学习生态系统。
• 实现与 scikit-learn 和 PyTorch 的无缝集成，以实现与现有机器学习工作流的互操作性。
• 支持统一正则化、高维去模糊化和 DropRule 等先进技术，以提升模型性能。

提出的方法

• PyTSK 将模糊 C-均值聚类实现为兼容 scikit-learn 的 TransformerMixin 类，用于前提参数学习。
• 利用 scikit-learn 的 Pipeline 将模糊聚类与线性回归结合，用于结论参数学习。
• 对于基于 MBGD 的优化，PyTSK 将 TSK 模型构建为 PyTorch Module 类，支持端到端可微训练。
• 框架包含专用中间件：激活水平（FL）转换器和输入转换器，用于结构自定义。
• 集成先进的正则化技术：统一正则化以防止规则死亡，HTSK 用于高维输入处理，以及通过 PyTorch Dropout 实现的 DropRule。
• 使用标准 PyTorch 优化器和损失函数进行模型训练，Wrapper 类抽象了训练和预测工作流。

实验结果

研究问题

• RQ1 在大规模数据环境中，如何通过小批量梯度下降高效优化 TSK 模糊系统？
• RQ2 像统一正则化和 DropRule 这类先进正则化技术在提升 TSK 模糊系统泛化能力方面发挥什么作用？
• RQ3 PyTSK 的模块化设计在多大程度上能够实现与深度学习框架和现有机器学习工作流的集成？
• RQ4 高维去模糊化如何提升 TSK 模糊系统在高维数据集上的性能？
• RQ5 一个统一、可扩展的 Python 工具箱能否弥合传统模糊系统与现代深度学习实践之间的差距？

主要发现

• PyTSK 通过模糊聚类和基于 MBGD 的优化，以极低的代码复杂度实现了 TSK 模糊系统的可扩展开发。
• 在训练循环中集成统一正则化，能有效防止规则死亡并提升模型泛化能力。
• 高维去模糊化（HTSK）通过根据输入维度调整指数项，显著提升了高维数据集上的性能。
• 通过在 FL 转换器中使用 PyTorch Dropout 实现的 DropRule，在训练期间随机抑制规则，从而提升泛化能力。
• 通过利用 PyTorch 的模块组合机制，工具箱支持深度和堆叠的模糊系统，实现层次化特征学习。
• PyTSK 的 API 设计模仿 scikit-learn，可无缝使用标准机器学习工具（如 GridSearchCV）进行超参数调优。