[论文解读] Tetra-AML: Automatic Machine Learning via Tensor Networks

A. Naumov, Ar. Melnikov+6 more|arXiv (Cornell University)|Mar 28, 2023

Advanced Neural Network Applications被引用 6

一句话总结

Tetra-AML 引入了一种自动化机器学习框架，该框架利用张量网络和一种新型黑箱优化器 TetraOpt，以高效地执行神经架构搜索（NAS）和超参数优化（HPO）。该框架在 CIFAR-10 上实现了最先进性能，仅造成 3.2% 的准确率损失，同时通过联合量化、剪枝和张量网络压缩，将 ResNet-18 的内存使用量减少了 14.5 倍。

ABSTRACT

Neural networks have revolutionized many aspects of society but in the era of huge models with billions of parameters, optimizing and deploying them for commercial applications can require significant computational and financial resources. To address these challenges, we introduce the Tetra-AML toolbox, which automates neural architecture search and hyperparameter optimization via a custom-developed black-box Tensor train Optimization algorithm, TetraOpt. The toolbox also provides model compression through quantization and pruning, augmented by compression using tensor networks. Here, we analyze a unified benchmark for optimizing neural networks in computer vision tasks and show the superior performance of our approach compared to Bayesian optimization on the CIFAR-10 dataset. We also demonstrate the compression of ResNet-18 neural networks, where we use 14.5 times less memory while losing just 3.2% of accuracy. The presented framework is generic, not limited by computer vision problems, supports hardware acceleration (such as with GPUs and TPUs) and can be further extended to quantum hardware and to hybrid quantum machine learning models.

研究动机与目标

• 解决大型深度神经网络在商业应用中日益增长的计算与部署成本问题。
• 降低手动进行神经架构与超参数调优的时间与资源负担。
• 实现在内存受限设备上部署的高效模型压缩，且准确率损失可忽略不计。
• 将该框架扩展以支持量子计算与混合量子-经典机器学习工作负载。
• 提供一个通用的、硬件加速的工具箱，用于在多种机器学习任务中实现端到端、自动化的模型优化。

提出的方法

• 基于张量列车开发一种定制的黑箱优化算法 TetraOpt，用于在高维搜索空间中执行 NAS 和 HPO。
• 利用张量网络分解技术，通过将权重张量表示为低秩张量列车来压缩卷积层，从而减少参数数量与内存占用。
• 将标准压缩技术（如剪枝与量化）与张量网络压缩相结合，实现协同增效。
• 通过 GPU 和 TPU 支持硬件加速，并将 TetraOpt 扩展为量子优化变体，以支持未来在量子机器学习中的应用。
• 设计模块化流水线，用户仅需定义数据集与搜索空间，系统即可自动完成模型训练、优化与压缩。
• 对已训练模型应用训练后压缩，以在最小化推理成本的同时保持准确率。

Figure 1: General scheme of Tetra-AML . Both Neural Architecture Search (NAS) and Hyperparameter Optimization (HPO) are performed via TetraOpt (Terra Quantum’s black-box optimizer based on Tensor Trains). Then the model is compressed via tensor network methods, quantization and pruning.

实验结果

研究问题

• RQ1 在计算机视觉任务中，基于张量网络的优化是否能优于贝叶斯优化进行神经架构与超参数搜索？
• RQ2 在保持高准确率的前提下，张量网络压缩在多大程度上可减少模型大小与推理成本？
• RQ3 剪枝、量化与张量网络压缩的结合在减少深度神经网络内存使用方面有多高效？
• RQ4 TetraOpt 优化器能否扩展以支持量子机器学习与混合量子-经典模型优化？
• RQ5 在 CIFAR-10 上，压缩后的 ResNet-18 模型在压缩率与准确率损失之间存在何种权衡？

主要发现

• 在相同模型评估次数下，TetraOpt 在 CIFAR-10 数据集上的验证准确率优于贝叶斯优化。
• 使用 Tetra-AML 压缩的 ResNet-18 模型实现了 14.5 倍的内存使用减少，同时仅造成 3.2% 的准确率下降。
• 张量网络压缩通过将大权重张量分解为低秩张量列车，实现了内存与运行时间的指数级减少。
• 该框架通过 GPU 和 TPU 支持硬件加速，可在标准与高性能硬件上高效完成训练与推理。
• 剪枝、量化与张量网络压缩的集成相比单一技术，显著提升了模型效率。
• 该框架可扩展至量子机器学习，其量子优化变体 TetraOpt 能够提升量子与混合模型的超参数与架构搜索性能。

Figure 2: Validation accuracy dependence on the number of neural network models (architectures) runs for TetraOpt , Bayesian, and Random Search algorithms. TetraOpt achieves 93.7% accuracy, while Bayesian optimization and Random Search find architectures only with 93.5% and 92.8% accuracy, respectiv