夜雨聆风【导读】菲尔兹奖得主陶哲轩在牛津演讲和 Dwarkesh 访谈中揭开了当前 AI 最危险的底层逻辑：模型权重优化的方向是「看起来对」，对准的是合理性（plausibility），跟事实本身无关。50 道困扰数十年的 Erdős 数学难题被 AI 攻下后，进度骤停。对单个问题的实测成功率仅 1%–2%。这条讨论在 X 上被超过 13 万人看到。
一个根本问题：强大的工具，凭什么不可靠？
2026 年 5 月 6 日，X 账号 @mathemetica 发了一条帖子，把讨论推到了公众视野。
"Terence Tao is answering a fundamental question regarding the safety and reliability of modern AI: 'How can we use a tool that is powerful, but unreliable?'"
「陶哲轩正在回答一个关于现代 AI 安全与可靠性的根本问题：如何使用一个强大但不可靠的工具？」
▲ @mathemetica 的帖子获得 1300+ 点赞、近 13 万次浏览，评论区大量用户追问完整演讲链接
帖子还指出了一个公式级别的隐患：
"AI isn't just about 'smart'; it's about the probability of *looking* right. We've built systems where the weights (wᵢ) are optimized for plausibility, not veracity."
「AI 的关键不在'聪明'，在'看起来对'的概率。我们造出来的系统，权重优化的方向是 plausibility（合理性），与 veracity（真实性）无关。」
@mathemetica 把这种特性称为「令人信服的镜子」（convincing mirror）——AI 在医疗、金融场景里自信地输出内容，但输出越自信，验证需求就越高。
这些讨论背后有两场公开访谈做支撑。
牛津演讲：AI 就是一台猜答案的机器
陶哲轩在 Oxford Mathematics 的公开讲座里，用了一个极其朴素的定义：
"It's a guessing machine. It's a piece of software that lets you put in input like a text query or something and produce output."
「它就是一台猜答案的机器。你输入文字或问题，它输出结果。」
然后他给了一个关键判断：
"These weights are chosen specifically so that the answers resemble correct answers as much as possible, so even when they're wrong, they look very very convincing."
「权重的选择，就是为了让输出尽可能像正确答案。所以就算错了，看起来也极其有说服力。」
▲ 陶哲轩 Oxford Mathematics 公开讲座：The Potential for AI in Science and Mathematics
传统的坏技术，你一眼就能看出问题——程序崩了、结果乱码、输出明显偏离预期，这些都是「显性失败」。
但 AI 的失败模式完全不同。AI 的错误长得像正确答案。它受过训练，目标就是让输出看起来对，所以人类的直觉在这里失灵。
陶哲轩列了一组高风险场景：医疗决策、金融判断、心理咨询——这些领域里 AI 都有潜力，但安全性还远远不够。
他用了一个类比来解释这件事。
喷气引擎类比：不能把引擎绑到汽车上就指望飞起来
"You can't just strap an engine onto a car and expect good results. That is not a good idea. You have to change the way you think of transportation. You have to design new safety protocols, new instrumentation."
「你不能直接把喷气引擎绑到一辆汽车上，然后指望它飞起来。你得重新思考整个交通方式，设计全新的安全协议和仪器系统。」
AI 就像刚被发明出来的喷气引擎。推力巨大，速度是地面交通的十倍以上。但从引擎到安全的民航客机，中间经历了几十年的工程、法规、仪器和事故积累。
今天的航空旅行按里程算是最安全的交通方式。但这个安全属性不是引擎自带的——是几十年验证体系建设的结果。
AI 的引擎已经在了，但飞机还没造好。
他还给了第二个类比：现在的科学就像有一组水龙头，能稳定产出饮用水，但产量有限。AI 就像一根消防水管——输出量是原来的 100 倍，但水不能直接喝。
大规模输出的前提，是配套的过滤和验证系统。
50 道 Erdős 难题被攻下后，AI 就停了
如果说牛津演讲给出了原理层面的警告，Dwarkesh Patel 的访谈就给出了实测数据。
▲ Dwarkesh Podcast：Terence Tao – Kepler, Newton, and the true nature of mathematical discovery
陶哲轩在访谈中透露了一个关键事实：过去几个月，AI 工具在 Erdős 问题集上攻下了大约 50 道题——这些题困扰数学界几十年都没人解决。
听起来震撼？
但紧跟着的数据更值得注意：
"If you only focus on the success stories, the ones that get broadcast on social media, it looks amazing... But whenever we do a systematic study, on any given problem an AI tool has a success rate of maybe 1% or 2%."
「如果你只看成功案例——只看社交媒体上被放大的那些——看起来惊人。但每次做系统性测试，AI 工具对单个问题的成功率只有大约 1% 到 2%。」
而且进度已经停了。
"We're seeing a lot fewer pure AI solutions now... There was a month where that happened and that has stopped, not for lack of trying."
「纯 AI 解题的数量明显减少了。有一个月集中爆发过，然后就停了——不是因为没人试。」
陶哲轩提到，他知道至少有三个独立团队同时让前沿模型攻击所有剩余的 Erdős 问题。结果？AI 能挑出一些小观察，或发现某个问题其实已经在文献里被解过了。但没有新的纯 AI 突破出现。
跳跃机器人：能跳两米高，但不会爬墙
陶哲轩在同一场访谈里给了一个精准的比喻：
"These AI tools, they're like jumping machines that can jump two meters in the air, higher than any human. Sometimes they jump in the wrong direction, and sometimes they crash, but sometimes they can reach the tops of the lowest walls that we couldn't reach before."
「AI 工具就像能跳两米高的跳跃机器——比任何人都跳得高。有时候跳错方向，有时候摔下来，但偶尔能跳上那些过去人类够不着的最矮的墙。」
关键在下半句：
"They've been really bad at creating partial progress or identifying intermediate stages that you should focus on first."
「它们在制造渐进式进展方面表现很差，也很难识别你应该优先攻克的中间阶段。」
人类数学家的工作方式是爬墙——找手点、做标记、一步步推进、在中间阶段积累认知。AI 要么一跳过去，要么摔下来。它不会停在半空中说「我到了一个有用的位置」。
▲ Dwarkesh Podcast YouTube 页面，评论区有大量关于 AI 能力边界的讨论
这也解释了为什么成功率只有 1%–2%。AI 买的是规模，跑的是暴力搜索。对上千个问题同时尝试，总有几个能跳过去。但从系统角度看，每次出手的可靠性都很低。
陶哲轩自己怎么用 AI？答案比你想的诚实
Dwarkesh 直接问了：你用 AI 之后，生产力提升了多少倍？
陶哲轩的回答出人意料地坦率：
"The type of papers that I would write today, if I had to do them without AI assistance, would definitely take five times longer. But I would not write my papers that way."
「如果今天的论文要在没有 AI 辅助的情况下完成，肯定得花五倍的时间。但如果没有 AI，我根本不会按这种方式写论文。」
换句话说，AI 让论文变得更丰富——更多代码、更多图表、更深入的文献检索。但核心的数学突破部分？
"The core of what I do, actually solving the most difficult part of a math problem, hasn't changed too much. I still use pen and paper for that."
「我做的核心工作——解决数学问题里最难的部分——变化不大。那部分我还是用纸和笔。」
AI 让论文变宽了，但没让论文变深。
他举了一个细节：过去论文里如果需要一个数据图，手工做要花几小时，现在几分钟就能搞定。但过去他压根不会在论文里加这种图——他会用文字描述。效率提升的背后，有一部分是 AI 自己创造了需求。
想法生成成本归零，验证成本反而成了瓶颈
陶哲轩在访谈中给出了一个宏观判断：
"AI has driven the cost of idea generation down to almost zero, in a very similar way to how the internet drove the cost of communication down to almost zero."
「AI 把想法生成的成本拉到了接近零，就像互联网曾经把沟通成本拉到接近零一样。」
但紧接着：
"Now the bottleneck is different. We're now in a situation where suddenly people can generate thousands of theories for a given scientific problem. Now we have to verify them, evaluate them."
「现在瓶颈变了。我们突然可以为一个科学问题生成成千上万的理论。但接下来得验证它们、评估它们。」
他指出，学术期刊已经被 AI 生成的投稿淹没。评审者招架不住。过去的同行评审系统设计时，假设人类以有限的速度生产内容。这个假设现在崩了。
这和工程界的经验完全一致：AI 可以在几分钟内生成代码草稿、API 设计方案、测试策略，但合并之前你仍然需要代码审查、安全审计、回归测试和边界测试。工具越强，越容易让人低估验证成本。
人机混合体将长期主导数学——但前提是造好过滤器
Dwarkesh 追问：你觉得 AI 什么时候能完全取代顶级数学家？
陶哲轩没给年份，但给了一个结构性判断：
"I do believe that hybrid human plus AIs will dominate mathematics for a lot longer."
「我相信人机混合会在更长的时间里主导数学。」
"They excel at breadth, and humans excel at depth... We have to redesign the way we do science to take full advantage of this breadth capability."
「AI 擅长广度，人类擅长深度。我们得重新设计做科学的方式，才能充分利用这种广度能力。」
▲ YouTube 上搜索陶哲轩与 AI 相关演讲，相关视频数量明显增多
他描绘了一个未来图景：先让 AI 对全新领域做大规模扫描，把简单的观察全部清理掉，标出困难区域，再让人类专家进入做深度攻坚。
但前提是——验证和过滤机制要先到位。否则消防水管喷出来的，全是不能喝的水。
「看起来对」和「真的对」之间的鸿沟
回到最初那条 X 帖的核心判断：
"The gap between 'convincing' and 'correct' is the most critical variable we need to solve for."
「'令人信服'和'真正正确'之间的差距，是我们最需要解决的关键变量。」
陶哲轩没有否定 AI。恰恰相反，他说进展「同时令人惊叹和令人失望」（simultaneously amazing and disappointing）。他在 2023 年预测 AI 到 2026 年会成为「值得信赖的合著者」（a trustworthy co-author if used correctly），现在他自己确认这个预测基本成立。
但他在每个乐观判断后面都跟了一个限定词：if used correctly——用对了才行。
用得好，它是喷气引擎，帮你到达过去根本到不了的地方。
用得不好，它就是一面令人信服的镜子——你以为看到了真相，其实看到的只是一个被优化过的近似值。
对数学家来说，这意味着每次 AI 给出的推导都需要独立验证。对工程师来说，每段 AI 生成的代码都需要测试和审查。对医生、律师、金融分析师来说，AI 输出的每个建议都只是草稿，最终判断必须由人来下。
强大和可靠之间还有很长的路。引擎已经在了，但飞机还没造好——安全手册更是一页都没写。
— END —
