视觉皮层的推理过程一直是神经科学的核心难题，扩散模型的生成过程则是现代 AI 的热门话题。一个来自 UC Berkeley、Flatiron Institute、UC Davis 的跨学科团队试图把这两个世界连接起来。团队成员包括 Zeyu Yun、Alexander Belsten、Dasheng Bi、Zahra Kadkhodaie、Yubei Chen，以及长期深耕视觉计算与稀疏编码的 Bruno A. Olshausen。他们提出一个大胆的想法，构建一个极简但可解释的模型，让我们能够同时理解视觉皮层的推断机制和扩散模型的内部结构。这项研究的目标不是再造一个更大的生成模型，而是拆解扩散模型的“推断逻辑”，并把它与视觉皮层的神经结构对应起来。研究团队希望回答一个关键问题，为什么视觉皮层和扩散模型在面对模糊、碎片化的图像时，会做出如此一致的结构补全行为。答案可能藏在一个更基本的计算框架里。
01 背景——稀疏编码、自然图像统计与扩散模型的可解释性困境
稀疏编码模型在视觉神经科学中有着重要地位。它曾经成功解释了 V1 简单细胞的方向选择性和局部感受野结构。模型的核心思想是用一组基函数去重建图像，并让这些基函数的激活尽可能稀疏。经典稀疏编码的能量函数是：这个结构简单优雅，却有一个明显的限制。它假设所有潜变量之间是独立的，也就是所谓的因子化先验。问题在于，自然图像并不是独立的像素拼贴。图像中的边缘、轮廓、纹理都有强烈的共线性和共圆性结构。视觉皮层的水平连接也早已被证明会把空间上分离但方向一致的特征联系起来。图1：轮廓刺激的似然性和雅可比分析。自然图像统计告诉我们，真实世界的视觉结构是高度相关的。视觉皮层的神经解剖告诉我们，大脑确实利用了这些相关性。稀疏编码的因子化假设显然无法捕捉这种结构依赖。扩散模型的出现让情况变得更复杂。扩散模型的 score function 可以计算，它告诉我们模型认为图像在哪些方向上更“可能”。但扩散模型内部的神经网络结构是黑箱的。我们知道它能补全轮廓、延展结构、生成自然的形变，却不知道它是怎么做到的。这项研究试图解决这个困境。研究团队希望找到一个既能学习自然图像统计，又能提供可解释推断动力学的模型。一个能让我们真正看到扩散模型内部“结构推断”的机制，而不是只能从结果猜测。
02 模型提出非因子化稀疏编码作为最小扩散模型
研究团队提出的核心模型，是在稀疏编码的框架里加入一个可学习的成对交互矩阵 M。新的能量函数变成这个结构有三个关键部分。第一部分是重建项，用字典 Φ 去重建输入图像。第二部分是稀疏项，用 α 去控制潜变量的稀疏性。第三部分是结构先验，用 M 去捕捉潜变量之间的依赖关系。M 是整个模型的灵魂。它不再假设潜变量独立，而是让模型自己从自然图像中学习哪些特征应该互相联系。比如哪些方向一致的边缘应该被视为同一条轮廓，哪些空间上分离但结构上相关的特征应该被绑定在一起。γ(σ) 是一个根据噪声动态调节先验权重的函数。噪声越大，模型越依赖结构先验。噪声越小，模型越依赖重建项。这种设计让模型在不同噪声水平下都能保持稳定的推断能力。这个模型的目标不是手工设计视觉结构，而是让 M 自动学习自然图像中的结构依赖。它希望让模型自己学会视觉皮层的水平连接，而不是人为硬编码。
03 训练方法：用DSM将稀疏编码转化为可解释的扩散模型
这项研究的训练思路非常有意思。团队没有走传统的最大似然路线，而是把整个稀疏编码模型直接塞进了扩散模型的训练框架里，用的是 Denoising Score Matching，也就是大家熟悉的 DSM。这个方法的核心思想很朴素，给一张干净图像加噪声，让模型学会从噪声图像里恢复出原图。听起来像是去噪任务，但本质上是在逼模型去学习数据分布的梯度，也就是 score function。在这个模型里，score function 的近似形式非常简洁。因为稀疏编码的能量函数是显式的，团队直接用 MAP 近似，把潜变量的后验分布收缩到它的最优解上。于是 score function可以写成这个公式的含义很直白，模型认为图像更可能的方向，就是重建图像和输入图像之间的差值。换句话说，稀疏编码的重建结果本身就成了扩散模型的梯度估计。DSM 的损失也因此变得非常简单。把 score function 代回 DSM 的目标函数之后，整个训练目标直接变成一个加权的重建误差这里的 x 是加噪后的图像，y 是干净图像，w是噪声权重。这个结构让模型在不同噪声水平下都能稳定学习，同时保留了稀疏编码的可解释性。模型既像扩散模型一样学习概率梯度，又像稀疏编码一样保持结构透明。这种训练方式让整个模型既有生成模型的能力，又有神经科学模型的可读性。
图2:V1类连通性和去噪性能的出现。模型训练完成后的那一刻，最让人惊讶的不是它能把噪声图像修好，而是它居然自己长出了类似 V1 的水平连接结构。字典 Φ 的形状非常眼熟，都是一块块方向明确、位置局部的 Gabor 样式基函数。更关键的是，潜变量之间的交互矩阵 M 也出现了非常强烈的共线性结构。那些在空间上分离但方向一致的基函数，会在 M 中形成明显的兴奋性连接，而方向不一致的基函数则被抑制。这种结构在视觉神经科学里有一个经典名字，叫做 association field。意思是视觉皮层会把方向一致的边缘自动串成一条线，让大脑更容易感知轮廓。模型完全没有被告知这种结构，却在自然图像的统计中自己学了出来。M 的连接图看起来就像一张神经解剖图，展示了哪些方向一致的特征会互相激活，哪些会互相抑制。这说明模型不仅重现了 V1 的结构，还给出了它的功能解释。共线性连接不是为了美观，而是为了让模型在模糊场景中延展真实轮廓，补全缺失结构，维持整体一致性。模型的结构先验就是视觉皮层的计算逻辑。
07 结果二:非因子化先验显著提升去噪与结构推断能力
当把模型放到高噪声环境里，它的优势就更明显了。研究团队训练了一个因子化稀疏编码模型作为对照，也就是把 M 设为零。结果非常直观，因子化模型在噪声图像里会产生大量虚假边缘，像是把噪声误认成结构。非因子化模型则稳得多，它会利用 M 的结构先验，把真实轮廓延展出来，同时把孤立的噪声压下去。图3：去噪雅可比矩阵的机械分解。这种差异在去噪任务里表现得非常明显。非因子化模型的输出更干净、更连贯，甚至在某些场景下接近 U-Net 扩散模型的表现。结构先验在这里发挥了关键作用，它让模型不再孤立地看每个特征，而是把它们放在整体结构里判断。这也说明一个事实，图像去噪不是简单的像素修补，而是结构推断。模型必须知道哪些边缘是可信的，哪些是噪声，哪些应该被延展，哪些应该被抑制。M 就是这个判断的依据。
夜雨聆风
