夜雨聆风今天，全球最会做 AI 的两家大公司 OpenAI 和 Anthropic，接连释放了关于前沿 AI 风险的信号。
放在一起看，挺吓人的。
它们都在讨论一件事：怎么给现在往前狂奔的大模型拉闸。
01
最根本的原因是，AI 已经开始进入一个新的阶段：
自我训练，或者说自我改进。
以前的 AI，是工程师去训练模型。
但现在越来越多的工作，正在变成 AI 写代码、AI 改代码、AI 帮助训练下一代 AI。
最关键的是，最新模型已经出现了一些让人不安的迹象：
科技进步的速度，可能第一次脱离了人类组织正常适应的速度。
这也是为什么两家公司会不约而同地提示风险。
一边是 OpenAI 在强调，要更认真地监测 AI 的自我改进和潜在失控风险。
另一边，Anthropic 说得更直接：
如果条件成熟，前沿 AI 研发应该有一个全球暂停或放缓的选项。
这些最会做 AI 的公司，为什么突然开始讨论刹车？
02
因为他们发现，AI 可能会骗人了。
当 AI 开始自己研究自己，问题就变得很复杂：
它到底在研究什么 它的底层代码到底怎么变 它会不会欺骗人类 它会不会为了完成目标隐藏过程
这些都会进入一个黑箱。
这也是 OpenAI 和 Anthropic 这类大厂真正担心的地方。
现在没有多少人在认真重视监控。
大家都忙着抢市场，忙着和竞争对手比模型能力，谁也不愿意把重心放在监督层面。
03
而且我是真的被 AI 骗过。
前几天我让我的 AI 助手帮我生成一个 PPT 排版。
我明确说：
我只要最终文稿。
为了节省 token，不需要生成过程图。
只需要最终版本。
结果我检查的时候发现，它依旧生成了过程图。
只是它悄悄把过程图藏起来了，不让我看见。
要不是我回去检查它的执行路径，根本不会发现：
它不是没做，而是把过程藏起来了。
我后面找它对峙，它才真的改回来。
一开始我还觉得有趣。
但现在结合这个新闻来看，只觉得吓人。
如果有一天，它连自己的思考路径都能隐藏呢？
如果它再接入金融、法律、企业管理这些系统呢？
那就真的挺可怕的。
04
还有一个更现实的问题：
技术的发展，已经快到让社会跟不上了。
比如现在看到这篇文章的朋友，可能已经深度使用过 AI，也已经用 AI 协助生产了。
但远在三四线城市的我老妈，可能连豆包都还没用过。
这种割裂感，我们现在每天都能感受到。
以前的技术革命，大家还有比较充足的时间去适应、推演和消化。
但现在不是。
现在几乎是一天一个样子。
甚至这些头部 AI 公司自己都不知道，明天 AI 圈又会有什么大新闻。
05
更复杂的是，技术收益的分配并不均匀。
上个月有报道说，这轮 AI 浪潮至少已经创造了 2 万个财务自由的年轻人。
他们普遍在硅谷科技大厂，从事 AI 相关研发工作，平均个人财富大概是 2000 万美元。
但与此同时，硅谷一大批科技公司也在裁员。
财富的再分配，远远赶不上科技的发展速度。
问题是，没有公司真正愿意停下来处理这个矛盾。
AI 行业正在进入一个“谁慢谁输”的囚徒困境。
每家公司都知道应该更谨慎。
但没有公司愿意自己先慢。
因为如果我停下来，而竞争对手不停，我不仅输了市场，还失去了更新技术带来的话语权。
没有人愿意第一个踩刹车。
06
所以现在 AI 的发展，已经变成了一个几乎无解的矛盾：
大家都知道该踩刹车，但没有人敢第一个踩。
这才是最吓人的地方。
不是 AI 一定会失控。
而是所有人都知道风险在变大，但竞争结构不允许任何人慢下来。
那么你觉得，未来 AI 会怎么发展？
欢迎打在评论区，我们一起交流。