[论文解读] Regret Bounds for LQ Adaptive Control Under Database Attacks (Extended Version)

Jafar Abbaszadeh Chekan, Cédric Langbort|arXiv (Cornell University)|Apr 1, 2020

Advanced Control Systems Optimization被引用 4

一句话总结

本文提出了一种针对在线最小二乘估计的自校正置信集调整方法，用于LQ自适应控制，以缓解数据库投毒攻击对训练数据的影响。通过修改参数估计过程以考虑恶意数据注入，该方法在攻击下实现了次线性遗憾 $\mathcal{O}((\Lambda\sqrt{N_{ab}})^p\sqrt{T})$，确保即使学习数据被破坏，系统仍具备鲁棒性能。

ABSTRACT

This paper is concerned with understanding and countering the effects of database attacks on a learning-based linear quadratic adaptive controller. This attack targets neither sensors nor actuators, but just poisons the learning algorithm and parameter estimator that is part of the regulation scheme. We focus on the adaptive optimal control algorithm introduced by Abbasi-Yadkori and Szepesvari and provide regret analysis in the presence of attacks as well as modifications that mitigate their effects. A core step of this algorithm is the self-regularized on-line least squares estimation, which determines a tight confidence set around the true parameters of the system with high probability. In the absence of malicious data injection, this set provides an appropriate estimate of parameters for the aim of control design. However, in the presence of attack, this confidence set is not reliable anymore. Hence, we first tackle the question of how to adjust the confidence set so that it can compensate for the effect of the poisonous data. Then, we quantify the deleterious effect of this type of attack on the optimality of control policy by bounding regret of the closed-loop system under attack.

研究动机与目标

• 分析数据库攻击（即学习数据在存储后、使用前被投毒）对基于学习的LQ自适应控制器的影响。
• 识别此类攻击如何损害自正则化在线最小二乘估计及自适应控制中使用的置信集的可靠性。
• 开发一种修改后的估计过程，以在数据投毒条件下保持准确的参数估计与控制性能。
• 建立在攻击下闭环系统的遗憾边界，量化性能退化与恢复情况。
• 通过仿真证明，所提方法在攻击下能将参数估计保持在真实值附近，并实现次线性遗憾，而朴素方法则不能。

提出的方法

• 将自正则化在线最小二乘估计器改进，以构建能考虑数据库中潜在数据投毒的置信集。
• 提出一种修改后的置信集，可动态调整以减少恶意数据的影响，确保参数估计的鲁棒性。
• 采用投影梯度下降法求解调整后置信集内的OFU（面对不确定性时的乐观）优化问题。
• 使用自适应步长 $\gamma = \sqrt{0.001 / \mathrm{Tr}(V_t)}$ 以确保参数估计过程的收敛性。
• 在主学习阶段前，应用50次来自单位球的探索性动作，以提升初始稳定性。
• 在仿真中采用类似鞅差分的攻击模型，以评估在现实数据注入模式下的鲁棒性。

实验结果

研究问题

• RQ1 数据库数据投毒如何影响在线LQ自适应控制器的性能与参数估计可靠性？
• RQ2 通过修改置信集构造，能否减轻投毒数据对自正则化最小二乘估计中参数估计的影响？
• RQ3 在使用修改后估计过程时，攻击下闭环系统的遗憾边界可建立为何种形式？
• RQ4 与忽略数据投毒的朴素算法相比，所提自校正算法在参数估计与遗憾方面表现如何？
• RQ5 在何种条件下，修改后的算法能在攻击存在时实现次线性遗憾？

主要发现

• 如图2所示，依赖标准置信集的朴素算法在数据投毒下无法保持准确的参数估计。
• 如图3所示，自校正算法即使在持续的数据库攻击下，也能成功将参数估计保持在真实系统参数附近。
• 攻击下的遗憾被限制在 $\mathcal{O}((\Lambda\sqrt{N_{ab}})^p\sqrt{T})$，其中 $p < 2 + 2(n+m+1)$，表明尽管存在数据投毒，遗憾仍呈次线性增长。
• 在 $N_{ab} = T$ 的特殊情况下，遗憾规模为 $\mathcal{O}(\Lambda^p T^{p+1/2})$，当 $p < 2$ 时仍为次线性。
• 在无攻击情况下，自校正算法实现 $\mathcal{O}(\sqrt{T})$ 的遗憾，与原始算法的最优性能一致。
• 图4的仿真结果确认，自校正算法在攻击下保持了次线性遗憾，而朴素算法则表现出无界的遗憾增长。