储层计算可能发挥重要作用的应用领域。
编辑 | 紫罗
尽管深度学习在处理信息方面取得了巨大成功，但其依赖于训练大型神经网络模型，限制了其在常见应用中的部署。
因此，人们对开发能快速推理和快速适应的小型轻量级模型的需求日益增长。
作为当前深度学习范式的替代方向，神经形态计算研究引起了人们的极大兴趣，其主要关注开发新型计算系统，这些系统的能耗只有当前基于晶体管的计算机的一小部分。
在神经形态计算中，一个重要的模型家族是储层计算（RC），储层计算起源于 21 世纪初，它在过去的二十年中取得了重大进展。
为了释放储层计算的全部功能，为时态动力系统提供快速、轻量级且可解释性更高的学习框架，需要进行更多的研究。
近日，华为联合复旦大学、伯明翰大学和根特大学（Ghent University）在《Nature Communications》发表题为《Emerging opportunities and challenges for the future of reservoir computing》的 Perspective 文章。
该综述旨在阐明储层计算的数学理论、算法设计和实验实现的并行进展，并确定大规模工业采用储层计算的新机遇和现有挑战，以及如何通过跨学科学术和工业研究人员的共同努力来解决这些挑战的一些想法和观点。
论文链接：https://www.nature.com/articles/s41467-024-45187-1
储层计算起源于 21 世纪初，在过去二十年，RC 研究在数学理论、计算方法以及实验原型和实现方面都取得了重大成果。
RC 的核心思想是利用动力系统作为储层（标准基的非线性推广）来自适应学习复杂时间序列中的时空特征和隐藏模式。这些开创性研究证明，在混沌系统中具有更高精度预测的潜力，引起了非线性动力学和复杂系统界的极大兴趣和后续关注。
RC 概念化了类脑系统如何运行，具有核心三层架构：输入（感知）层接收信息并执行一些预处理，中间（处理）层通常由一些非线性循环网络动力学定义，输入信号充当激励，输出（控制）层重新组合来自处理层的信号以产生最终输出。
图示：深度学习与储层计算的比较。（来源：论文）
图示：RC 框架的示意图。（来源：论文）
尽管在各个方向取得了成功，但在整个工业范围内大规模采用 RC，或在合成和实验室实验之外，还没有广泛令人信服的「杀手级应用」。实际上，由于其紧凑的设计和快速的训练，RC 长期以来一直被视为许多工业级信号处理和学习任务的理想解决方案。
图示：近 20 年来，RC 研究在数学理论、计算方法以及实验原型和实现方面取得的重大成果。（来源：论文）
RC 系统理论与算法设计
RC 的核心思想是设计和使用动态系统作为储层，根据输入数据自适应地生成信号基础，并以某种最佳方式组合它们以模拟所需过程的动态行为。在这个角度下，回顾和讨论了RC 系统的数学表示、常见的 RC 设计和 RC 背后的数学理论。
RC 系统的物理设计：从集成电路到硅光子学
为了归档具有短期记忆的可控非线 性高维系统，可以使用一些具有非线性动态特性的特定物理系统来实现储层，其中网络连接由物理相互作用决定。
随着电学和光学器件集成技术的发展，计算效率相对于传统的布尔逻辑方法可以大大提高。物理储层的实现与软件方式类似，但略有不同。
图示：物理储层计算示意图。（来源：论文）
原则上，现有的形态电路，例如 FPGA 和 ASIC，可以实现为电子储存器。
除了基于布尔逻辑和冯诺依曼结构的蓄电池之外，人们一直在追求更高效率和更低能耗的方法。对于储层模型，可采用非线性模拟电子电路直接建立储层模型，如 Mackey-Glass 电路。
另一方面，光子技术的发展为超高速、低能耗的硬件系统带来了希望，特别是神经网络训练。与传统的微电子技术相比，光学系统在高带宽、低延迟和低能耗方面具有显著的优势。基于光学系统的储层网络也取得了重大进展。
相比较而言，基于 FPGA 和 ASIC 的储层方案由于其计算的非冯诺依曼/内存性质，与通用 CPU 电子架构相比可以大大提高计算速度和功耗。此外，输入端和输出端均无需进行光电转换，方便数据缩放和处理。但计算效率已接近理论极限。综合利用各自优势，采用异构集成方案或许是一条可行的路径。
RC 的应用基准
RC 的应用非常多样化，主要分为几类：信号分类（例如，语音数字识别）、时间序列预测（例如，Mackey-Glass 动力学中的混沌预测）、系统动力学控制（例如， 学习实时控制机器人）和偏微分方程计算（例如，Kuramoto-Sivashinsky 方程的快速模拟）。
图示：RC 的应用示例。（来源：论文）
总体而言，RC 在一系列基准测试和任务中表现出色，并不断努力进一步改善结果。下图总结了典型应用场景中 RC 性能的趋势。
图示：典型应用场景中 RC 性能的趋势。（来源：论文）
鉴于理论上 RC 与通用神经网络一样具有通用逼近能力，原则上似乎没有什么能阻止 RC 模型推动最具挑战性的人工智能任务的前沿，这应该是整个 RC 社区的主要目标。
RC 未来发展的机遇和技术挑战
随着技术不断快速进步，开发动态、轻量级且可低成本广泛部署的智能信息处理系统的需求不断增加。
据预测，到 2030-2035 年，无线和光通信都将迎来第六代（6G/F6G），为数百亿设备和数十亿用户提供连接。
预计全球数据中心的吞吐量将达到数万亿 GB，需要超过 200 太瓦时的功耗。
此外，数以千万计的机器人将进入我们的日常生活，以低成本提高劳动效率。
虚拟现实和元宇宙严重依赖于物理世界的实时模拟。
这些主要应用需要大量的能力，包括动态不确定性信息的准确识别、快速预测和计算以及动态控制，所有这些都可以由 RC 系统提供。
研究人员详细讨论了 RC 研究将在 6G、下一代光网络、物联网 (IoT)、绿色数据中心、智能机器人、科学人工智能和数字孪生几个重要的应用领域发挥的关键作用。
展望
综上所述，虽然 RC 在功能上具备大规模应用的潜力，但要真正解决上述各类重大应用中的技术问题，现有 RC 系统在各方面仍存在诸多关键挑战。
在实验层面，将 RC 模型映射到物理系统时仍然存在一些差距。第一个是物理基底RC的时间尺度问题。第二个是实时数据处理问题。除了这些实际挑战之外，硬件漂移通常需要定期重复校准过程，因此它不能是一种优化。此外，数据预处理和后处理也限制了物理 RC 系统的整体计算速度。解决此问题的一种方法是使用基于硬件的读出而不是基于软件的读出。
展望未来，彻底探索基于动力系统的智能学习机的潜力至关重要。在理论和算法研究领域，需要不断突破性能界限，为实验设计提供指导。RC 研究可以扎根于理论和算法，实验可以作为理论和算法结果的近似。
展望未来，释放 RC 和神经拟态计算的全部潜力至关重要，但也充满挑战。事实上，这不仅仅是发布开源代码或解决一些具体问题。创新理念和跨学科研究形式非常需要。
尽管面临许多挑战，但通过坚持和创新，RC 和神经形态计算的工作可能会出现一种新的、未来的智能学习和计算范式。
【推荐阅读】
相关文章
