arXiv:AI协作求解38年开放问题,神经网络的混沌究竟有多少维?

论文题目：Lyapunov spectrum of random neural networks 

论文链接：https://arxiv.org/abs/2610.12426  

发表时间：2026年10月8日  

论文来源：arXiv

一个最大指数，为什么不够？

混沌最直观的特征，是两个几乎相同的初始状态会迅速分离。但在高维系统中，扰动并不只沿一个方向演化。可以把一个无穷小的球想象成被动力学不断拉伸和压缩的椭球：不同主轴上的渐近增长或收缩速度，就是一组李雅普诺夫指数，把所有指数排列起来，才得到完整的李雅普诺夫谱。

最大李雅普诺夫指数为正，只能证明系统至少存在一个放大扰动的方向；它不能告诉我们，网络中究竟有多少个方向不稳定，其余方向又以什么速度收缩。完整谱则保留了全部切空间方向的渐近扩张与收缩信息。由此可以进一步得到以Kaplan–Yorke维数表征的吸引子维数，以及由正李雅普诺夫指数之和给出的熵率。前者描述混沌轨迹长期占据的有效维数，后者刻画动力学揭示初始条件信息的速率。

图1：作者David G. Clark，Flatiron Institute计算神经科学中心研究组负责人兼副研究科学家、哥伦比亚大学神经科学兼职助理教授，主要利用统计物理与机器学习研究大型神经回路中连接、动力学和计算之间的关系。

论文研究的是Sompolinsky等人于1988年提出的随机循环速率网络。这是一个理想化理论模型：神经元之间通过独立同分布的高斯随机非对称权重连接，每个神经元对输入进行低通滤波，再经过双曲正切非线性产生输出。在神经元数量趋于无穷时，动力学平均场理论预言，耦合强度跨过临界值后，系统会从稳定相进入混沌相。

当时的理论能够通过一个薛定谔型问题求出最大的李雅普诺夫指数，却无法给出整条谱。后来研究者可以借助QR正交化等数值方法，在有限规模网络中计算完整谱，但数值算出一组结果仍不同于在大规模极限下建立一套可计算理论。真正悬而未决的问题是：能否不再依赖逐个追踪大量扰动方向，而是直接得到完整谱的统计规律，并由此判断混沌是否随网络规模广延增长？

把“求全部指数”改写成一个响应问题

直接计算完整谱，需要追踪雅可比矩阵沿网络轨迹形成的长时间乘积。网络越大、演化时间越长，这个对象越难处理。Clark的突破口不是继续优化逐个求指数的方法，而是把原问题换成一个更容易统计的问题。

第一步，给所有指数设置一道“门槛”。作者引入阈值s，将全部李雅普诺夫指数整体减去s。这样，原来低于阈值的指数会在移位后的切空间动力学中对应衰减方向，高于阈值的指数则对应增长方向。于是，有多少个指数低于s便转化为有多少个切空间方向会衰减。只要改变阈值并反复计数，就能得到谱的累积分布，进而恢复整条谱。

第二步，用响应函数完成计数。作者在整个时间轴上引入源项，并从所有可能的切向轨迹中选择最小范数解。这一解把移位动力学中的衰减分量向前传播、增长分量向后传播，从而得到在两个时间方向上均具有有限范数的轨迹。其单步响应恰好是投影到衰减子空间的投影算子，而投影算子的迹就是衰减方向的数量。由此，论文建立了一个有限规模下的关键恒等式：当阈值不与任何李雅普诺夫指数重合时，谱的累积分布等于最小范数切空间动力学的一步响应。

第三步，把整个网络约化为一个代表性神经元。为了实际求得最小范数响应，研究先将问题写成正则化最小二乘，再构造一个前向—后向动力系统：一个场沿时间向前演化，另一个场沿时间向后演化。随后，作者把空腔法同时用于原网络和这套双向系统。在神经元数量趋于无穷时，其余网络对一个代表性神经元的作用被约化为动力学平均场理论给出的随机输入，以及两个由响应函数自洽确定的前向—后向核。原本的高维网络由此变成自洽单站点问题。求解这一问题，再令正则化趋于零，即可得到各个阈值下的累积分布并重建完整谱。

这不是适用于所有神经网络的简单闭式公式，而是一套针对该随机速率网络大规模极限、需要数值求解自洽方程的理论框架。它真正改变的，是问题的表示方式：不再与海量切向量正面搏斗，而是通过一个代表性神经元的响应，读取整个网络的稳定性结构。

从完整谱到广延混沌：理论与大规模模拟对上了

研究首先检查新理论能否恢复两个已有结果。在g<1的平凡不动点上，网络退化为线性系统，耦合矩阵特征值遵循圆律。自洽单站点理论在任意有限时间步长下，都恢复了由圆律直接得到的相应李雅普诺夫谱。在混沌相中，它也正确连接了连续时间极限和无泄漏离散时间极限下已有的最大李雅普诺夫指数结果。

更关键的检验来自完整谱。论文比较了耦合强度g=3和g=5，以及时间步长δ=0.05、0.1、0.25、0.5时的理论预测与网络模拟。模拟网络包含4096个神经元，并用QR方法直接计算李雅普诺夫谱。无论观察全部指数，还是单独放大决定混沌的正指数区间，理论曲线都与模拟结果在论文考察的参数范围内高度一致。

图2：不同耦合强度和时间步长下的完整李雅普诺夫谱。 横轴为指数的归一化排序，纵轴为李雅普诺夫指数。实线表示自洽单点理论，圆点表示包含4096个神经元的网络模拟。右栏放大了正李雅普诺夫指数区域。理论与模拟在研究考察的参数范围内高度一致。

完整谱还让混沌有多复杂变成可定量回答的问题。由此计算了归一化Kaplan–Yorke维数和归一化熵率。大规模极限下，这些归一化量保持有限，意味着相应的吸引子维数、熵率以及正李雅普诺夫指数的数量都会随神经元数量成比例增长。这正是广延混沌的含义：当网络扩大时，不稳定自由度并非集中在少数方向，而是以与系统规模相同的量级增加。它并不意味着所有方向都不稳定，也不意味着吸引子占满整个相空间。

这项研究还将吸引子维数与两类参与比维数放在一起比较。参与比维数衡量活动主要分布在多少个线性主成分上，会受到变量和坐标选择影响。Kaplan–Yorke维数则来自李雅普诺夫谱，反映吸引子的内禀几何。结果显示，在考察的耦合范围内，熵率和两类参与比维数随耦合增强而单调上升，但参与比维数在强耦合时增长放缓。吸引子维数的行为更加微妙：它先增长，随后趋于饱和，并可在更强耦合下下降。当时间步长为0.5时，最大值出现在g约为10附近。因此，在论文考察的参数范围内，增强耦合会提高熵率，却不必然使吸引子维数持续增加。

图3：吸引子维数、参与比维数与熵率随耦合强度的变化。 曲线为理论结果，圆点为大规模网络模拟。完整谱使吸引子维数和熵率能够直接由理论计算。增强耦合会在图示范围内提高熵率，但吸引子维数在强耦合区趋于饱和，部分条件下还会下降。

这项研究还有一个不同寻常的方法学背景。根据这项研究披露，GPT-6 Astra用约100分钟给出了最初的连续时间推导。随后与GPT-6 Astra和Claude Opus 5.5共同将其重构为目前更具物理直观的最小范数响应—前向后向系统—空腔法路线。Claude Opus 5.5还在研究者的指导下编写全部数值代码、生成全部图形、核查推导步骤并参与文字修改。因此，更准确的说法不是AI独立解决了四十年难题，而是AI提出初始推导并承担大量计算工作，研究者持续重构论证、解释物理意义并把控结论边界。

总结与展望

这项研究真正推进的，不是再次求出一个最大的混沌指标，而是给出了计算大规模随机神经网络全部扩张与收缩方向的统一框架，由此把此前主要依靠数值观察的广延混沌，连接到可计算的完整李雅普诺夫谱、吸引子维数和熵率。结论针对独立高斯非对称耦合、双曲正切非线性的随机速率网络，并假设大网络极限与正则化趋零极限可以交换。模拟吻合支持这一处理，却不能替代严格数学证明。未来，这套方法有望推广到具有兴奋—抑制群体、低秩结构或互易连接相关性的速率网络，并尝试延伸至脉冲神经网络、循环式Transformer的推理动力学以及学习过程中的权重动力学。若这些方向成立，完整李雅普诺夫谱可能从描述经典随机网络的理论工具，进一步成为理解高维神经系统如何产生、组织和利用混沌的通用坐标系。

计算神经科学第三季读书会

从单个神经元的放电到全脑范围的意识涌现，理解智能的本质与演化始终是一个关于尺度的问题。更值得深思的是，无论是微观的突触可塑性、介观的皮层模块自组织，还是宏观的全局信息广播，不同尺度的动力学过程都在共同塑造着认知与意识。这说明，对心智的研究从最初就必须直面一个核心挑战：局部的神经活动如何整合为统一的体验？局域的网络连接又如何支撑灵活的智能行为？

继「神经动力学模型」与「计算神经科学」读书会后，集智俱乐部联合来自数学、物理学、生物学、神经科学和计算机的一线研究者共同发起「从神经动力学到意识：跨尺度计算、演化与涌现」读书会，跨越微观、介观与宏观的视角，探索意识与智能的跨尺度计算、演化与涌现。重点探讨物理规律与人工智能如何帮助我们认识神经动力学，以及神经活动跨尺度的计算与演化如何构建微观与宏观、结构与功能之间的桥梁。

详情请见：从神经动力学到意识：跨尺度计算、演化与涌现丨计算神经科学第三季·读书会启动