[论文解读] Vision-based route following by an embodied insect-inspired sparse neural network

Lu Yihe, Rana Alkhoury Maroun+1 more|arXiv (Cornell University)|Mar 14, 2023

Neurobiology and Insect Physiology ResearchNeuroscience被引用 3

一句话总结

本文提出FlyHash模型，一种受昆虫启发的稀疏神经网络，利用局部敏感哈希（LSH）将视觉输入编码为高维稀疏二值哈希，以实现具身智能体的高效路径追踪。尽管模型参数量更小，FlyHash在运行时效率和可压缩性方面优于传统LSH和完美记忆模型，得益于其稀疏二值连接结构和固有的数据压缩能力，使其在真实世界导航任务中更具代谢效率。

ABSTRACT

We compared the efficiency of the FlyHash model, an insect-inspired sparse neural network (Dasgupta et al., 2017), to similar but non-sparse models in an embodied navigation task. This requires a model to control steering by comparing current visual inputs to memories stored along a training route. We concluded the FlyHash model is more efficient than others, especially in terms of data encoding.

研究动机与目标

• 探究稀疏、生物合理神经编码是否在具身智能体的视觉路径追踪任务中比密集、传统LSH更高效。
• 比较受昆虫蘑菇体结构启发的FlyHash模型与传统LSH及完美记忆模型在数据编码效率、模型大小和运行时成本方面的表现。
• 在真实模拟环境下评估稀疏哈希在真实世界导航任务中的可压缩性和实际效率。
• 探索在FlyHash模型中整合可塑性以进一步提升记忆容量和代谢效率的潜力。

提出的方法

• FlyHash模型采用单层稀疏二值神经网络，$ N_{\text{KC}} > N_{\text{PN}} $，其中投射神经元（PNs）通过伯努利分布权重稀疏且随机地连接到肯尼安细胞（KCs）。
• 输入图像通过k-赢家者通吃（k-WTA）激活函数编码为稀疏二值哈希，生成的输出稀疏度为$ \kappa = k/N_{\text{KC}} $。
• 传统LSH模型采用密集高斯加权连接和通过Heaviside阶跃函数生成的二值输出，结果为稀疏度$ \kappa \approx 0.5 $的密集哈希。
• 完美记忆模型无编码地原样存储原始输入向量，作为性能基准。
• 所有模型均部署于虚拟机器人在模拟环境中，使用相同的内存存储和转向控制器，以隔离编码方式的影响。
• 通过路径追踪性能、运行时成本以及稀疏表示的理论可压缩性来评估模型效率。

实验结果

研究问题

• RQ1 FlyHash模型是否在模型尺寸和运行时成本更低的前提下，实现与传统LSH和完美记忆模型相当或更优的路径追踪性能？
• RQ2 FlyHash模型的稀疏二值哈希能否实现无损有效压缩，而传统LSH哈希则难以实现？
• RQ3 哈希表示的稀疏度如何影响具身导航中视觉新颖性检测和记忆检索的效率？
• RQ4 生物合理稀疏连接对神经编码的代谢效率和计算效率有何影响？
• RQ5 在FlyHash模型中整合可塑性输出层是否能进一步提升记忆容量和效率？

主要发现

• 尽管模型尺寸显著更小，FlyHash模型在路径追踪性能上与传统LSH和完美记忆模型相当。
• FlyHash模型凭借其稀疏二值哈希展现出卓越的可压缩性，可压缩至低至0.2864比特/每KC，接近理论下限。
• 由于稀疏连接和二值运算，FlyHash的运行时成本显著低于密集LSH模型，效率更高。
• 压缩后，FlyHash与传统LSH模型在相似模型尺寸下达到相近性能，表明FlyHash的效率不仅源于尺寸小，更源于其结构和计算优势。
• 改进后的FlyHash模型（单输出神经元）在仅5% KC稀疏度和1%错误率下可存储多达330张图像，展现出高记忆容量和可扩展性。
• 理论分析证实，扩展的、稀疏的、二值的哈希更易被下游神经元学习，支持FlyHash架构的生物合理性与功能优势。