夜雨聆风学习资料网

ARTICLE · 1229461

世界模型系列289:AI 总爱"挑软柿子捏"—频谱偏置

世界模型系列289:AI 总爱"挑软柿子捏"—频谱偏置

你有没有这样的经历。

学一首新歌。

主旋律,几遍就会了。

可那几个飙高音、转音的地方,练了几十遍,还是唱不准。

AI 学物理,也有这个毛病。

它很擅长学"平缓"的变化。

却很不擅长学"剧烈"的变化。

这个毛病,叫频谱偏置。

01 什么是"高频"和"低频"


这里的"频",说的是变化的快慢。

低频:变化慢、平滑。

比如一天里气温的起伏。早上凉,中午热,晚上又凉。

高频:变化快、剧烈。

比如水面上密密麻麻的小波纹。比如一声尖锐的哨响。

物理世界里,两种变化都有。

而且,往往是高频的部分,最要紧。

02 AI 的"偏科":先学简单的


神经网络有个天性。

它总是先学低频,再慢慢啃高频。

而且,高频的部分,学得极慢。

有时候,训练到最后,也没学会。

这个现象,也叫"F-原理"。

打个比方。

一个学生做试卷。

选择题、填空题,很快做完。

最后那道压轴大题,磨了半天,还是空着。

不是他不努力。

而是他的"学习方式",天生就偏向简单题。

03 为什么会这样?


从数学上看,原因藏在一个叫"神经切线核"的东西里。

不用记名字。

你只需要理解一个比喻:

AI 学习,像一个人在山里找路。

有的方向,是"高速公路",走起来飞快。

有的方向,是"羊肠小道",走一步都费劲。

低频的变化,对应的就是高速公路。

高频的变化,对应的就是羊肠小道。

两者的"速度差",不是一倍两倍。

而是好几个数量级。

所以,AI 早就把低频学完了。

高频,才刚刚起步。

04 这在物理里,为什么是大问题?


因为物理世界里,充满了"高频"的东西。

激波

飞机超音速飞行时,前方会出现一道极薄的"冲击面"。

压力和密度,在这里瞬间剧变。

湍流

水流突然变得乱七八糟,旋涡层层叠叠。

边界层

水流贴着墙壁时,那薄薄一层里,速度变化极其陡峭。

相变界面

水结冰的那一层,物质性质在极短的距离内突变。

这些现象,恰恰是工程师最关心的。

而 AI 最不擅长。

具体来说,会出三种后果。

后果一:把尖锐的东西"磨平"

AI 学不会陡峭的变化。

于是,它把激波这类尖锐的结构,抹成一条平缓的斜坡。

就像用橡皮擦,把一道清晰的折线,擦成了模糊的曲线。

专业上叫"人工数值扩散"。

后果二:验算也帮不上忙

陡峭的地方,变化率极大。

前面讲过,AI 靠"自动微分"验算方程。

可在陡峭区域,这个验算很难准确地"扣分"。

AI 就容易卡在一个错误的答案上。

这个答案看上去平滑合理,却违背物理。

后果三:几项分数又吵起来了

低频部分学得快,高频部分学得慢。

两者的"进度",严重不同步。

反向传播时,梯度互相拉扯、抵消。

训练就变得不稳定,甚至停滞。

05 五种破解办法


研究者想了很多招。

5.1 办法一:给输入加一副"放大镜"(傅里叶特征嵌入)

最直接的办法。

AI 看不见高频,那就把输入"处理"一下。

在输入端,加上很多不同"快慢"的正弦、余弦波。

就像给 AI 一排不同刻度的尺子。

有的尺子量大尺度,有的尺子量极细微的刻度。

这样,高频的信息,一开始就被"放大"了。

AI 学起来,不再那么吃力。

5.2 办法二:换一种更灵活的"积木"(PIKAN)

传统网络,用的是固定形状的"积木"。

每个节点,用同一种变化方式。

新型网络,叫KAN。

它把"积木"换成了可以自由塑形的曲线。

有局部的、有周期性的、有小波形状的。

遇到激波这种尖锐的变化,就用一小块"尖角形"的积木去拟合。

遇到震荡,就用"波浪形"的积木。

不再用一把万能锤,去敲所有钉子。

5.3 办法三:专盯最难的地方(SA-PINN)

前面讲过,给每个检查点配一个"注意力旋钮"。

旋钮会自动转向错误最大的地方。

高频区域,往往正是错得最离谱的地方。

于是,AI 被逼着,把更多精力放到这里。

就像老师发现你压轴题总错,就专门给你加练。

5.4 办法四:分区作战(区域分解)

既然一个 AI 很难同时学会全局。

那就把空间切成几块。

每一块,派一个小 AI 负责。

陡峭的区域,单独配一个专用小网络。

每个小网络,只用拟合一小片区域的变化。

难度,大大降低。

就像一座大工程,分给多个施工队。

每队只负责自己那一段。

最后,在接缝处对接好。

5.5 办法五:在"难点"埋几个真实测点

在最陡峭的区域,装几个高精度的传感器。

测出几个真实数据。

数据分有很强的"拉力"。

能把 AI 从"错误的平滑答案"里,硬拽出来。

就像给迷路的人,指一个路标。

虽然只有一个,但足以让他重新定位。

06 看懂五种办法

办法
思路
比喻
傅里叶特征
给输入加多尺度的"放大镜"
一排不同刻度的尺子
PIKAN
换更灵活的网络"积木"
为不同钉子配不同工具
自适应加权
专盯错得最多的地方
老师加练压轴题
区域分解
分区,各派小网络
多个施工队分段施工
稀疏数据锚定
难点处埋几个真实测点
迷路时的路标

一句话总结:AI 天生偏爱"平缓",不擅长"陡变"。

可物理世界里,激波、湍流、边界层,恰恰最关键。

给它加放大镜、换积木、专盯难点、分区作战、埋下路标。

让 AI 也能学会那些"高音",才算真正读懂了物理世界。

相关学习资料