[论文解读] TTOpt: A Maximum Volume Quantized Tensor Train-based Optimization and its Application to Reinforcement Learning

Konstantin Sozykin, Andrei Chertkov+4 more|arXiv (Cornell University)|Apr 30, 2022

Tensor decomposition and applications被引用 9

一句话总结

TTOpt 提出了一种基于量化张量列车（TT）格式和最大体积原理的无梯度优化方法，可高效探索高维离散参数空间。与现有方法相比，该方法显著减少了函数评估次数和执行时间，在强化学习中实现了最先进性能，同时支持直接训练量化神经网络，适用于低功耗设备部署。

ABSTRACT

We present a novel procedure for optimization based on the combination of efficient quantized tensor train representation and a generalized maximum matrix volume principle. We demonstrate the applicability of the new Tensor Train Optimizer (TTOpt) method for various tasks, ranging from minimization of multidimensional functions to reinforcement learning. Our algorithm compares favorably to popular evolutionary-based methods and outperforms them by the number of function evaluations or execution time, often by a significant margin.

研究动机与目标

• 开发一种适用于强化学习和超参数调优中常见的非可微、高维、非凸问题的无梯度优化方法。
• 利用张量列车（TT）的低秩结构，高效表示并优化离散多变量函数。
• 实现对量化（离散）神经网络权重的直接优化，支持在低功耗设备上部署。
• 在函数评估次数和训练速度方面优于现有无梯度方法（如进化策略）。

提出的方法

• 将离散多变量函数的优化重新表述为张量网络问题，其中目标函数以 TT 格式表示为 d 维张量。
• 应用广义最大矩阵体积原理，迭代选择最具信息量的张量元素（函数评估值），以构建低秩 TT 近似。
• 基于体积最大化策略，自适应地在关键参数点采样函数值，聚焦于可能包含全局最大值的区域。
• 支持小规模和大规模离散参数网格（例如，N=3 或 N=256），实现精细离散化，近似连续优化。
• 该方法已实现在公开软件框架中，确保可复现性，并可集成至强化学习流水线。
• 通过投影（CDF 或均匀分布）和二次惩罚函数处理约束，以在优化过程中保持参数边界。

实验结果

研究问题

• RQ1 基于张量列车的优化方法是否能在高维离散优化中，相较于标准无梯度方法，在收敛速度和函数评估效率方面表现更优？
• RQ2 最大体积原理在指导采样过程以识别离散参数空间中的高回报区域方面效果如何？
• RQ3 通过 TTOpt 训练的量化神经网络策略在连续控制任务中，其性能在多大程度上可与全精度策略相媲美？
• RQ4 TT 方法在保持准确性和效率的前提下，是否能有效扩展至大规模离散网格？
• RQ5 TTOpt 是否能直接训练量化策略而无需微调，从而实现低功耗推理硬件上的部署？

主要发现

• 在所有测试的强化学习环境中，TTOpt 在函数评估次数和执行时间方面均优于进化策略（ES）及其他无梯度基线方法。
• 在 Ant-v3 环境中，当 N=3（离散权重）时，TTOpt 达到最终累积奖励 5039.90 ± 57.00，超过原始 ARS 基线的 4972.48 ± 21.58。
• 在 HalfCheetah-v3 环境中，TTOpt 达到 6840.39 ± 87.41，优于原始 ARS 的 6527.89 ± 82.70，表现出一致的性能提升。
• 即使 TT 秩较低（例如 R=3），该方法仍表现出高性能，表明其具有出色的样本效率和对低秩近似的鲁棒性。
• 使用 TTOpt 进行微调后，所有环境（包括 Hopper-v3 和 Walker2d-v3）的性能均得到提升，且在多个情况下具有统计显著性。
• 该算法成功训练了仅含 3 或 256 个离散权重值的量化策略，证明其在不降低性能的前提下适用于低功耗推理。