[论文解读] When low-loss paths make a binary neuron trainable: detecting algorithmic transitions with the connected ensemble

D. Barbier|arXiv (Cornell University)|Jan 30, 2026

Neural Networks and Applications被引用 0

一句话总结

本论文提出了连接集（connected ensemble）以研究SBP极小值的平坦、可导航流形，并识别出基于连通性 的算法转变：只有在临界阈值以上，才存在连接最小值，使得在某些参数范围内局部算法的训练更容易。

ABSTRACT

We study the connected ensemble, a statistical-mechanics framework that characterizes the formation of low-loss paths in rugged landscapes. First introduced in a previous paper, this ensemble allows one to identify when a network can be trained on a simple task and which minima should be targeted during training. We apply this new framework to the symmetric binary perceptron model (SBP), and study how its typical {connected} minima behave. We show that {connected} minima exist only above a critical threshold $κ_{ m connected}$, or equivalently below a critical constraint density $α_{ m connected}$. This defines a parameter range in which training the network is easy, as local algorithms can efficiently access this connected manifold. We also highlight that these minima become increasingly robust and closer to one another as the task on which the network is trained becomes more difficult.

研究动机与目标

• 通过连接集动机化并形式化在崎岖的SBP损失景观中寻找平坦、可导航区域。
• 定义并分析连接自由能以表征连接最小值及其邻域。
• 确定连接最小值的存在性与鲁棒性作为SBP参数（κ 和 α）的函数，并将其与算法可训练性联系起来。
• 将连接集框架与无记忆 Ansatz 进行比较，并研究对局部算法的影响。

提出的方法

• 定义对称二元感知器（SBP）及其带约束的损失景观 ξ^μ · x ≤ κ N。
• 引入连接集，统计具有邻近连接解的SBP解，形成一串连接的极小值。
• 使用退火近似和重叠矩阵 Q 的鞍点分析来计算连接自由能。
• 推导连接最小值存在的条件，并将其解读为 κ_connected 和 α_connected。
• 将连接最小值的几何形状与近邻性与局部搜索方法的可访问性联系起来。

实验结果

研究问题

• RQ1 在SBP损失景观中，连接最小值在什么条件下存在？
• RQ2 解路径（连接最小值）的几何形状如何影响训练SBP的算法可行性？
• RQ3 delimitier 易训练 vs 困难训练 的临界阈值 κ_connected 和 α_connected 是什么？
• RQ4 连接集与无记忆 Ansatz 在描述可导航平坦流形方面有何比较？
• RQ5 随着任务难度增加，连接最小值是否变得更鲁棒并更聚集？

主要发现

• 连接最小值只有在临界阈值 κ_connected 之上（或等效地在 acritical α_connected 之下）存在。
• 存在一个参数范围，在该范围内训练网络很容易，因为局部算法可以高效访问连接流形。
• 随着任务难度增加，这些最小值变得越来越鲁棒且彼此更接近。
• 该框架能够识别何时低损失路径使可训练性成为可能，以及SBP景观中如何产生算法转变。
• 分析使用连接自由能和退火近似来表征解的流形。