[论文解读] Multi-Task Variational Information Bottleneck

Weizhu Qian, Bowei Chen+3 more|arXiv (Cornell University)|Jul 1, 2020

Adversarial Robustness in Machine Learning参考文献 62被引用 4

一句话总结

该论文提出了一种多任务变分信息瓶颈（MTVIB）模型，通过将变分推断与任务相关的不确定性加权相结合，学习鲁棒且解耦的多任务学习共享潜在表征。通过联合优化压缩的、与任务相关的表征以及自适应损失加权，MTVIB在三个基准数据集上实现了最先进的准确率，并在对抗性攻击下展现出卓越的鲁棒性。

ABSTRACT

Multi-task learning (MTL) is an important subject in machine learning and artificial intelligence. Its applications to computer vision, signal processing, and speech recognition are ubiquitous. Although this subject has attracted considerable attention recently, the performance and robustness of the existing models to different tasks have not been well balanced. This article proposes an MTL model based on the architecture of the variational information bottleneck (VIB), which can provide a more effective latent representation of the input features for the downstream tasks. Extensive observations on three public data sets under adversarial attacks show that the proposed model is competitive to the state-of-the-art algorithms concerning the prediction accuracy. Experimental results suggest that combining the VIB and the task-dependent uncertainties is a very effective way to abstract valid information from the input features for accomplishing multiple tasks.

研究动机与目标

• 解决现有多任务学习（MTL）模型在多个任务间性能与鲁棒性不平衡的问题。
• 通过将变分信息瓶颈（VIB）与特定任务的不确定性估计相结合，提升潜在表征的质量。
• 利用基于似然的不确定性加权方法，动态平衡各任务的损失贡献，避免手动或固定超参数调优。
• 在保持多个下游任务高预测准确率的同时，增强模型对对抗性攻击的鲁棒性。
• 将多任务学习建模为基于信息瓶颈原理的约束多目标优化问题。

提出的方法

• 该模型采用变分推断框架，学习潜在码上的后验分布，从而实现正则化且抗噪声的表征。
• 共享编码器将输入特征映射为潜在分布，而特定任务的解码器则为每个下游任务生成预测。
• 任务相关的不确定性作为似然分布的参数进行学习，实现自动、自适应的任务损失加权。
• 目标函数最小化信息瓶颈的变分近似，平衡输入与潜在码之间的互信息，以及潜在码与输出之间的互信息。
• 使用随机梯度下降端到端训练该框架，总损失为任务特定交叉熵损失的加权和，其中权重由学习到的不确定性得出。
• 在不同扰动水平（ε）的对抗性攻击下评估模型，以衡量其鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 变分信息瓶颈框架能否提升多任务学习中共享潜在表征的质量与鲁棒性？
• RQ2 学习特定任务的不确定性是否能带来更好的动态损失加权，并改善任务间的性能平衡？
• RQ3 MTVIB模型在对抗性攻击下的准确率与鲁棒性方面，相较于最先进MTL模型表现如何？
• RQ4 通过VIB学习到的解耦潜在表征在多任务间泛化能力的提升程度如何？
• RQ5 联合优化表征压缩与损失加权是否能带来多任务基准上的更优性能？

主要发现

• 在MultiMNIST数据集上，MTVIB在ε=0.05时达到93.7%的测试准确率，优于STL（87.1%）和STVIB（86.7%），并匹配或超过其他MTL基线模型。
• 在MultiFashion数据集上，MTVIB在ε=0.05时达到58.2%的准确率，显著优于STL（59.1%）、STVIB（60.1%）和GS（57.1%），展现出更强的鲁棒性。
• 在MTFL数据集上，MTVIB在ε=0.05时任务1的准确率为34.4%，在ε=0.30时任务2的准确率为22.6%，表明其在高扰动攻击下具有极强的抗扰能力。
• MTVIB在所有数据集和对抗性攻击水平下均持续优于或匹配最佳性能模型（如UWL、GS），在MTFL上取得了最高准确率（任务1在ε=0.05时为34.4%）。
• 该模型表现出更优的鲁棒性，在对抗性噪声（ε）逐渐增加的情况下仍能保持更高准确率，表明VIB与不确定性加权的结合实现了有效的正则化。
• 消融实验确认，将VIB与不确定性加权结合可获得比单独使用任一机制更优的性能，验证了两种机制之间的协同效应。