[论文解读] Toward bio-inspired information processing with networks of nano-scale switching elements

Zoran Konkoli, Göran Wendin|arXiv (Cornell University)|Nov 25, 2013

Advanced Memory and Neural Computing参考文献 46被引用 3

一句话总结

本文提出将储层计算（RC）作为一种生物启发范式，利用纳米尺度开关元件（如忆阻器）网络实现可扩展的信息处理，借助其非线性、依赖历史的动力学特性，构建一个动态储层以混合和转换输入信号。其主要贡献在于证明此类网络可在不训练内部连接的情况下充当高容量计算基底，仅依赖可训练的读出层。

ABSTRACT

Unconventional computing explores multi-scale platforms connecting molecular-scale devices into networks for the development of scalable neuromorphic architectures, often based on new materials and components with new functionalities. We review some work investigating the functionalities of locally connected networks of different types of switching elements as computational substrates. In particular, we discuss reservoir computing with networks of nonlinear nanoscale components. In usual neuromorphic paradigms, the network synaptic weights are adjusted as a result of a training/learning process. In reservoir computing, the non-linear network acts as a dynamical system mixing and spreading the input signals over a large state space, and only a readout layer is trained. We illustrate the most important concepts with a few examples, featuring memristor networks with time-dependent and history dependent resistances.

研究动机与目标

• 研究局部连接的纳米尺度开关元件网络作为非传统计算基底的计算潜力。
• 探索储层计算（RC）作为一种范式，避免训练内部突触权重，仅训练读出层。
• 评估具有时间依赖性和历史依赖性电阻的忆阻器网络作为动力学系统的计算容量。
• 识别可测量的网络级特性（如谐波生成或相关函数），以指示高质量储层行为。
• 通过展示在纳米制造的有机晶体管和功能化纳米颗粒网络中的可行性，弥合神经形态计算与分子尺度组件之间的鸿沟。

提出的方法

• 将具有历史依赖电阻的非线性纳米尺度开关元件（特别是忆阻器）网络作为核心计算基底。
• 应用储层计算原理：将输入信号馈入一个固定、非线性的动力学系统（即储层），该系统将其转换为高维状态空间。
• 采用可训练的读出层从储层状态中提取相关信息，从而避免训练内部连接。
• 通过非线性频率响应函数分析储层质量，检验输出是否偏离延迟输入的线性组合。
• 提出测量节点间电压差或相关函数（例如 ⟨V_int,j(t′)V_int,i(t)⟩）作为储层状态动力学的实验代理指标。
• 通过理论框架评估计算容量，该框架将临界性、相变与复杂系统中的混沌动力学联系起来。

实验结果

研究问题

• RQ1 具有记忆特性和非线性的纳米尺度开关元件网络能否作为高效的信息处理计算基底？
• RQ2 忆阻器网络的非线性频率响应在多大程度上可指示高质量储层行为？
• RQ3 在不训练内部连接的情况下，如何量化和优化此类网络的计算容量？
• RQ4 哪些可测量的物理量（如电压相关性、谐波生成）可作为储层状态质量的代理指标？
• RQ5 基于纳米尺度组件的储层计算能否在可扩展性和能效方面克服传统数字计算与神经形态计算的局限？

主要发现

• 具有时间依赖性和历史依赖性电阻的忆阻器网络表现出强烈的非线性动力学，适用于储层计算，能够实现复杂信号的混合与转换。
• 储层生成非线性频率响应的能力，超越延迟输入的线性组合，表明其具备高质量动态状态生成能力。
• 提出将谐波生成和节点间高阶相关函数作为储层质量与计算容量的实验指标。
• 理论分析表明，系统接近临界行为和混沌动力学可能增强此类网络的计算容量。
• 储层计算通过将突触权重的复杂训练与储层动力学解耦，为传统神经形态架构提供了一种稳健的替代方案。
• 实验可行性得到支持，例如基于有机晶体管（NOMFET）和具有分子开关的自组装金纳米颗粒网络的纳米制造系统。