[论文解读] Repair Brain Damage: Real-Numbered Error Correction Code for Neural Network

Ziqing Li, Myung Cho+2 more|arXiv (Cornell University)|Jan 21, 2026

Radiation Effects in Electronics被引用 0

一句话总结

论文提出一种基于实数的错误纠错码（ECC），通过对权重施加线性约束，在不增加参数或损害准确度的前提下，检测并纠正神经网络中的内存与计算错误。它基于线性规划（LP）进行检测/纠错，并在 MNIST 和 CIFAR-10 基准测试中展示了鲁棒性。

ABSTRACT

We consider a neural network (NN) that may experience memory faults and computational errors. In this paper, we propose a novel real-number-based error correction code (ECC) capable of detecting and correcting both memory errors and computational errors. The proposed approach introduces structures in the form of real-number-based linear constraints on the NN weights to enable error detection and correction, without sacrificing classification performance or increasing the number of real-valued NN parameters.

研究动机与目标

• 在安全关键应用中，动机化神经网络对硬件引发的内存和数据通路错误的鲁棒性。
• 提出一个实数 ECC 框架，对网络权重施加线性约束以实现错误检测和纠错。
• 开发一个不增加模型规模或降低准确度的基于 LP 的检测和纠错流程。
• 通过逐层应用和权重投影技术，在标准数据集（MNIST、CIFAR-10）上展示实用有效性。

提出的方法

• 对权重引入两类线性约束：第一类通过固定矩阵 B_j 的内积实现的一般线性约束；第二类通过向量 a_i 在输出上引入线性结构。
• 将错误检测表述为对所有 i 检查 a_i^T y = 0；通过求解一个最小化 ||E||_1 的 LP，满足 a_i^T(H+E)=0 且 <B_j, H+E>=0，然后恢复 y_c = y - E x - e。
• 在训练过程中或之后将向量化的权重矩阵 H 投影到约束子空间的正交补，以实现对条件（1）的强制（式(5)）。
• 给出一个可能的联合优化公式，通过同样的约束最小化 ||E||_1 + ||e||_1 来同时恢复 E 和 e，且满足 y = (H+E)x + e。
• 描述基于层级的 LP-based ECC 应用（可以扩展到多层网络）。
• 证明增加约束 B_j 的数量线性地提高可恢复性，且在实验中对需要量化的示例给出量化需求。

实验结果

研究问题

• RQ1 实数 ECC 是否能够在神经网络权重中强制结构，以实现对内存和数据通路错误的检测与纠正？
• RQ2 这些线性约束对模型性能和存储开销有什么影响？
• RQ3 在实际应用中，需要多少个约束矩阵 B_j 才能实现可靠的纠错？
• RQ4 在具有真实内存与数据通路故障的标准基准上，基于 LP 的 ECC 表现如何？
• RQ5 ECC 框架是否可以在不同网络结构（如多层感知机 MLP、卷积神经网络 CNN）中逐层应用？

主要发现

• ECC-DNN 在 MNIST 上的近基线准确率可以在权重参数为 256×784 且错误稀疏引入时容忍多达 210 处错误。
• 在 CIFAR-10 的 5120 参数的输出层权重下，该方法在多达 210 处权重错误时仍能保持准确率。
• 在 200×199 的权重矩阵设置中，大约需要 800 个约束矩阵 B_j 才能实现可靠的恢复。
• 在 MNIST 和 CIFAR-10 上的应用展示了对内存和数据通路错误的鲁棒性，而不增加可训练参数。
• 基于 LP 的方案在测试配置下实现了高概率的错误检测，并能恢复内存故障的真实稀疏性模式。
• 该方法在对权重施加实数结构约束的同时，并未降低分类性能。