[论文解读] Reinforcement-Enhanced Autoregressive Feature Transformation: Gradient-steered Search in Continuous Space for Postfix Expressions

Dongjie Wang, Meng Xiao+4 more|arXiv (Cornell University)|Sep 24, 2023

Machine Learning and Data Classification被引用 4

一句话总结

本文提出 MOAT，一种增强强化学习的自回归框架，通过后缀表达式嵌入将离散的自动化特征转换重新表述为连续优化问题。通过利用基于强化学习的数据收集、连续嵌入空间学习、梯度引导搜索以及束搜索重构，MOAT 在多种数据集和下游模型上实现了最先进性能，展现出卓越的效率和鲁棒性。

ABSTRACT

Feature transformation aims to generate new pattern-discriminative feature space from original features to improve downstream machine learning (ML) task performances. However, the discrete search space for the optimal feature explosively grows on the basis of combinations of features and operations from low-order forms to high-order forms. Existing methods, such as exhaustive search, expansion reduction, evolutionary algorithms, reinforcement learning, and iterative greedy, suffer from large search space. Overly emphasizing efficiency in algorithm design usually sacrifices stability or robustness. To fundamentally fill this gap, we reformulate discrete feature transformation as a continuous space optimization task and develop an embedding-optimization-reconstruction framework. This framework includes four steps: 1) reinforcement-enhanced data preparation, aiming to prepare high-quality transformation-accuracy training data; 2) feature transformation operation sequence embedding, intending to encapsulate the knowledge of prepared training data within a continuous space; 3) gradient-steered optimal embedding search, dedicating to uncover potentially superior embeddings within the learned space; 4) transformation operation sequence reconstruction, striving to reproduce the feature transformation solution to pinpoint the optimal feature space.

研究动机与目标

• 解决在特征转换操作的指数级离散空间中高效搜索的挑战。
• 提升在开放学习环境中自动化特征转换的鲁棒性，其中性能对初始化和训练数据质量敏感。
• 通过将特征转换表述为连续优化任务，克服现有方法（如进化算法、强化学习和神经架构搜索）的局限性。
• 开发一个可扩展且稳定的框架，使其在多种下游机器学习模型和数据集上具有泛化能力。
• 通过基于嵌入的连续搜索与重构，实现最优特征转换序列的端到端学习。

提出的方法

• 使用级联强化学习智能体自动探索并收集高质量的转换操作序列-准确率对，作为训练数据。
• 将每个特征转换序列表示为后缀表达式，以实现灵活的、与深度无关的序列建模，并实现自动长度确定。
• 训练一个编码器-解码器-评估器模型，将转换序列映射到保留转换准确率语义的连续嵌入空间。
• 在连续嵌入空间中执行梯度引导搜索，以识别对应于高性能特征转换的更优、潜在非离散的嵌入。
• 使用束搜索从最佳嵌入中重构最优转换序列，确保最终解的有效性和可解释性。
• 利用学习到的嵌入空间在不同下游模型之间实现泛化，提升对模型选择和数据分布变化的鲁棒性。

实验结果

研究问题

• RQ1 与离散搜索方法相比，将离散特征转换重新表述为连续优化问题是否能提升搜索效率和收敛稳定性？
• RQ2 基于强化学习的数据收集器在生成高质量、准确率优化的转换序列以用于训练方面，效果如何？
• RQ3 将转换序列表示为后缀表达式在实现自动序列长度确定和降低计算开销方面，其作用有多大？
• RQ4 在学习到的连续嵌入空间中进行基于梯度的搜索，是否能发现通过离散搜索无法触及的更优特征转换？
• RQ5 该框架在多种下游机器学习模型和数据集上的鲁棒性如何？

主要发现

• MOAT 在多个基准数据集上实现了最先进性能，包括在 Spectf 数据集上的 F1 分数为 0.897，以及在 HTRU2 数据集上的 F1 分数为 0.929。
• 该框架在多种下游模型（如随机森林、XGBoost、SVM、KNN、岭回归、LASSO 和决策树）上均保持顶尖性能，展现出强大的鲁棒性。
• 基于强化学习的数据收集器显著提升了训练数据质量，使模型能够学习与下游模型行为一致的转换偏好。
• 连续嵌入空间实现了高效且稳定的优化，在速度和解质量方面均优于离散搜索方法。
• 基于束搜索的重构模块能有效从学习到的嵌入中生成有效且高性能的转换序列。
• 广泛的消融实验确认了各组件的重要性：强化学习数据收集、后缀表达式表示以及梯度引导搜索对于实现最佳性能至关重要。