[论文解读] Neural Lattice Decoders

Vincent Corlay, Joseph J. Boutros+2 more|arXiv (Cornell University)|Jul 2, 2018

Neural Networks and Applications参考文献 20被引用 6

一句话总结

本文提出基于神经网络的神经格点译码器，用于求解欧氏格点中的最近向量问题（CVP）。提出了一种无需学习的最优译码器，基于Voronoi约化基和布尔方程构建；并设计了两种可学习的译码器——NLD2（无约束）和NLD3（带L1正则化与结构先验），表明正则化与格点结构感知可简化模型而不损失性能，在 $E_8$ 和 $D_4$ 等格点上实现了接近最大似然（ML）的译码性能。主要贡献在于提出了一套新颖的框架，将格点几何与神经网络相结合，实现高效、精确的CVP求解。

ABSTRACT

Lattice decoders constructed with neural networks are presented. Firstly, we show how the fundamental parallelotope is used as a compact set for the approximation by a neural lattice decoder. Secondly, we introduce the notion of Voronoi-reduced lattice basis. As a consequence, a first optimal neural lattice decoder is built from Boolean equations and the facets of the Voronoi cell. This decoder needs no learning. Finally, we present two neural decoders with learning. It is shown that L1 regularization and {\em a priori} information about the lattice structure lead to a simplification of the model.

研究动机与目标

• 开发基于神经网络的格点最近向量问题（CVP）译码器，这是编码理论与密码学中的一个基本问题。
• 通过利用Voronoi约化基和布尔方程，构建一种无需学习的最优神经格点译码器。
• 设计可学习的神经译码器（NLD2与NLD3），利用格点结构与L1正则化以降低模型复杂度，同时保持高性能。
• 证明将先验格点几何信息嵌入神经网络架构中，可实现高效、精确的译码，且参数增长最小。

提出的方法

• 使用格基生成的基本平行多面体作为紧凑输入域，以实现神经网络的通用逼近能力。
• 引入Voronoi约化格基以简化Voronoi胞腔的几何结构，从而通过布尔方程与面约束构建最优、无需学习的神经译码器。
• 首个神经译码器（HLD）实现为两隐藏层网络：第一层计算超平面决策（感知机），第二层计算逻辑与，第三层计算逻辑或，以确定最近格点。
• NLD2为全连接、无约束的前馈Sigmoid网络，训练以逼近CVP，其隐藏层大小与格点接触数对齐。
• NLD3从HLD结构初始化，并应用L1正则化以剪枝连接，简化模型同时保持性能。
• NLD3的架构利用对格点结构的先验知识以约束学习过程，降低复杂度并提升鲁棒性。

实验结果

研究问题

• RQ1 能否仅通过格点几何与布尔逻辑构建一个无需学习的神经网络来求解CVP？
• RQ2 结合Voronoi胞腔结构先验的L1正则化对可学习神经格点译码器的复杂度与性能有何影响？
• RQ3 神经网络译码器能否在 $E_8$ 和 $D_4$ 等密集格点上实现接近最大似然性能，且参数显著少于标准模型？
• RQ4 在多大程度上可将格点结构信息嵌入神经网络架构中，以简化学习过程并减小模型规模？

主要发现

• HLD（基于超平面的格点译码器）在 $D_4$ 和 $E_8$ 格点上实现了无需学习的精确CVP译码，其布尔方程源自Voronoi胞腔的面。
• 在 $E_8$ 上，NLD2（83,200个参数）的性能非常接近最大似然译码，尽管其复杂度随维度呈超线性增长（$\log_2(W)/n = 2.0$）。
• 在 $T55$ 格点（$n=16$）上，NLD2（6,280个参数）实现了次线性复杂度（$\log_2(W)/n = 0.78$）与具有竞争力的性能，表明其适用于非密集格点。
• NLD3通过L1正则化显著减少了第一隐藏层中的活跃连接数——例如，将 $z_1$ 布尔表达式从五项简化为两项——同时在 $D_4$ 上保持近似最优性能。
• NLD3的Case 1在 $D_4$ 上仅用第二层两个神经元即实现最大似然性能，证明了有效的模型压缩。
• 采用剪枝策略的NLD3（Case 4）表现出鲁棒性，且避免了误码平台（Case 3），表明结构化正则化可带来稳定且简化的译码器。