ARTICLE · 1229461
世界模型系列289:AI 总爱"挑软柿子捏"—频谱偏置
你有没有这样的经历。
学一首新歌。
主旋律,几遍就会了。
可那几个飙高音、转音的地方,练了几十遍,还是唱不准。
AI 学物理,也有这个毛病。
它很擅长学"平缓"的变化。
却很不擅长学"剧烈"的变化。
这个毛病,叫频谱偏置。
01 什么是"高频"和"低频"
这里的"频",说的是变化的快慢。
低频:变化慢、平滑。
比如一天里气温的起伏。早上凉,中午热,晚上又凉。
高频:变化快、剧烈。
比如水面上密密麻麻的小波纹。比如一声尖锐的哨响。
物理世界里,两种变化都有。
而且,往往是高频的部分,最要紧。
02 AI 的"偏科":先学简单的
神经网络有个天性。
它总是先学低频,再慢慢啃高频。
而且,高频的部分,学得极慢。
有时候,训练到最后,也没学会。
这个现象,也叫"F-原理"。
打个比方。
一个学生做试卷。
选择题、填空题,很快做完。
最后那道压轴大题,磨了半天,还是空着。
不是他不努力。
而是他的"学习方式",天生就偏向简单题。
03 为什么会这样?
从数学上看,原因藏在一个叫"神经切线核"的东西里。
不用记名字。
你只需要理解一个比喻:
AI 学习,像一个人在山里找路。
有的方向,是"高速公路",走起来飞快。
有的方向,是"羊肠小道",走一步都费劲。
低频的变化,对应的就是高速公路。
高频的变化,对应的就是羊肠小道。
两者的"速度差",不是一倍两倍。
而是好几个数量级。
所以,AI 早就把低频学完了。
高频,才刚刚起步。
04 这在物理里,为什么是大问题?
因为物理世界里,充满了"高频"的东西。
激波
飞机超音速飞行时,前方会出现一道极薄的"冲击面"。
压力和密度,在这里瞬间剧变。
湍流
水流突然变得乱七八糟,旋涡层层叠叠。
边界层
水流贴着墙壁时,那薄薄一层里,速度变化极其陡峭。
相变界面
水结冰的那一层,物质性质在极短的距离内突变。
这些现象,恰恰是工程师最关心的。
而 AI 最不擅长。
具体来说,会出三种后果。
后果一:把尖锐的东西"磨平"
AI 学不会陡峭的变化。
于是,它把激波这类尖锐的结构,抹成一条平缓的斜坡。
就像用橡皮擦,把一道清晰的折线,擦成了模糊的曲线。
专业上叫"人工数值扩散"。
后果二:验算也帮不上忙
陡峭的地方,变化率极大。
前面讲过,AI 靠"自动微分"验算方程。
可在陡峭区域,这个验算很难准确地"扣分"。
AI 就容易卡在一个错误的答案上。
这个答案看上去平滑合理,却违背物理。
后果三:几项分数又吵起来了
低频部分学得快,高频部分学得慢。
两者的"进度",严重不同步。
反向传播时,梯度互相拉扯、抵消。
训练就变得不稳定,甚至停滞。
05 五种破解办法
研究者想了很多招。
5.1 办法一:给输入加一副"放大镜"(傅里叶特征嵌入)
最直接的办法。
AI 看不见高频,那就把输入"处理"一下。
在输入端,加上很多不同"快慢"的正弦、余弦波。
就像给 AI 一排不同刻度的尺子。
有的尺子量大尺度,有的尺子量极细微的刻度。
这样,高频的信息,一开始就被"放大"了。
AI 学起来,不再那么吃力。
5.2 办法二:换一种更灵活的"积木"(PIKAN)
传统网络,用的是固定形状的"积木"。
每个节点,用同一种变化方式。
新型网络,叫KAN。
它把"积木"换成了可以自由塑形的曲线。
有局部的、有周期性的、有小波形状的。
遇到激波这种尖锐的变化,就用一小块"尖角形"的积木去拟合。
遇到震荡,就用"波浪形"的积木。
不再用一把万能锤,去敲所有钉子。
5.3 办法三:专盯最难的地方(SA-PINN)
前面讲过,给每个检查点配一个"注意力旋钮"。
旋钮会自动转向错误最大的地方。
高频区域,往往正是错得最离谱的地方。
于是,AI 被逼着,把更多精力放到这里。
就像老师发现你压轴题总错,就专门给你加练。
5.4 办法四:分区作战(区域分解)
既然一个 AI 很难同时学会全局。
那就把空间切成几块。
每一块,派一个小 AI 负责。
陡峭的区域,单独配一个专用小网络。
每个小网络,只用拟合一小片区域的变化。
难度,大大降低。
就像一座大工程,分给多个施工队。
每队只负责自己那一段。
最后,在接缝处对接好。
5.5 办法五:在"难点"埋几个真实测点
在最陡峭的区域,装几个高精度的传感器。
测出几个真实数据。
数据分有很强的"拉力"。
能把 AI 从"错误的平滑答案"里,硬拽出来。
就像给迷路的人,指一个路标。
虽然只有一个,但足以让他重新定位。
06 看懂五种办法
一句话总结:AI 天生偏爱"平缓",不擅长"陡变"。
可物理世界里,激波、湍流、边界层,恰恰最关键。
给它加放大镜、换积木、专盯难点、分区作战、埋下路标。
让 AI 也能学会那些"高音",才算真正读懂了物理世界。















































































