[论文解读] Optimization Planning for 3D ConvNets

Zhaofan Qiu, Ting Yao+2 more|arXiv (Cornell University)|Jan 11, 2022

Human Pose and Action Recognition参考文献 38被引用 6

一句话总结

本文提出了一种用于3D ConvNets的优化规划框架，通过将训练过程建模为具有固定超参数（学习率、片段长度、采样策略）的状态序列，利用动态规划与膝点估计来自动调度超参数并确定最优状态转移，从而实现端到端的自动化训练。该方法在Kinetics-400上达到80.5%的top-1准确率，在Kinetics-600上达到82.7%，性能达到当前最先进水平，其核心为一种新型双头分类器架构。

ABSTRACT

It is not trivial to optimally learn a 3D Convolutional Neural Networks (3D ConvNets) due to high complexity and various options of the training scheme. The most common hand-tuning process starts from learning 3D ConvNets using short video clips and then is followed by learning long-term temporal dependency using lengthy clips, while gradually decaying the learning rate from high to low as training progresses. The fact that such process comes along with several heuristic settings motivates the study to seek an optimal "path" to automate the entire training. In this paper, we decompose the path into a series of training "states" and specify the hyper-parameters, e.g., learning rate and the length of input clips, in each state. The estimation of the knee point on the performance-epoch curve triggers the transition from one state to another. We perform dynamic programming over all the candidate states to plan the optimal permutation of states, i.e., optimization path. Furthermore, we devise a new 3D ConvNets with a unique design of dual-head classifier to improve spatial and temporal discrimination. Extensive experiments on seven public video recognition benchmarks demonstrate the advantages of our proposal. With the optimization planning, our 3D ConvNets achieves superior results when comparing to the state-of-the-art recognition methods. More remarkably, we obtain the top-1 accuracy of 80.5% and 82.7% on Kinetics-400 and Kinetics-600 datasets, respectively. Source code is available at https://github.com/ZhaofanQiu/Optimization-Planning-for-3D-ConvNets.

研究动机与目标

• 为解决3D ConvNet训练中手动且基于启发式的超参数调优问题，该问题涉及片段长度、采样策略与学习率衰减之间的复杂权衡。
• 通过将训练过程形式化为具有固定超参数的离散训练状态上的路径规划问题，实现训练过程的自动化。
• 通过基于性能-训练轮次曲线膝点的自适应状态转换，提升模型泛化能力与性能。
• 设计一种新型3D ConvNet架构DG-P3D，采用双头分类器以增强空间与时间特征的判别能力。
• 在多种视频识别基准上验证优化规划框架的有效性，实现一致的性能提升。

提出的方法

• 将训练过程分解为离散状态，每个状态由固定的超参数（片段长度、采样策略（均匀或连续）及学习率）定义。
• 构建候选转移图以编码有效的状态转移路径，从而通过动态规划搜索最优路径。
• 采用膝点估计方法检测性能-轮次曲线的拐点，以确定从一个状态转移到下一个状态的最优轮次。
• 在验证集上离线学习优化路径，并将其应用于最终模型的训练，确保超参数调度的自适应性与数据驱动性。
• 在DG-P3D架构中引入新型双头分类器，分别优化空间与时间特征，提升特征判别能力。
• 将该框架应用于多个数据集上的3D ConvNet训练，且在Kinetics-400与Kinetics-600之间复用相同的优化路径，提升效率。

实验结果

研究问题

• RQ1 能否为3D ConvNets开发一种自动化的、基于原理的训练策略，以替代现有的启发式超参数调优？
• RQ2 在训练过程中，如何确定最优的片段长度、采样策略与学习率序列？
• RQ3 在性能曲线上的动态膝点检测能否可靠地指示状态转移的时机？
• RQ4 双头分类器是否能提升3D ConvNets在视频识别任务中对空间与时间特征的学习能力？
• RQ5 一条单一的、学习得到的优化路径是否能在不同视频数据集与模态间实现泛化？

主要发现

• 所提出的优化规划框架在Kinetics-400上达到80.5%的top-1准确率，较之前最先进方法LGD-3D高出1.1%。
• 在Kinetics-600上，该方法达到82.7%的top-1准确率，优于最佳对比方法X3D-XL的0.8%。
• 双流DG-P3D模型在使用RGB与光流输入时，于Kinetics-600上达到84.3%的top-1准确率，较双流LGD-3D提升1.2%。
• 在Kinetics-400上学习到的优化路径可有效泛化至Kinetics-600，证明其在不同数据集间的可迁移性。
• 在SS-V1与SS-V2上，DG-P3D分别取得52.8%与65.5%的top-1准确率，较之前最佳方法分别提升0.9%与1.3%。
• 该方法在全部七个测试基准上均实现性能提升，验证了其鲁棒性与泛化能力。