夜雨聆风最让人心惊胆战的是，人工智能不仅能够编写程序、绘制图形和进行对话，而且还会参与到下一个人工智能的设计当中去。
目前的变化已经不是小问题了。Anthropic内部透露的信息显示，Claude产生出代码库中80%的新代码。到2025年年初的时候，这个数字还是个位数。同时工程师每天可以合并出来的代码数量也达到了2024年的八倍。另外一个重要信号就是，人工智能连续独立完成复杂的任务的时间也在以每四个月翻一番的速度增长，在目前的情况下大概能够坚持十二个小时左右。按照这样的速度走下去的话，明年的它可以连续工作好几周也是有可能的，并不过分夸大其词。
这件事情为什么要关注呢？因为递归式的自我改进这个老概念就要实现了，即让人工智能去优化自己的人工智能。
以前是怎么更新模型的大家都知道。人类制定结构、调节参数、收集数据、进行评价，不管人工智能多么强大，都只是被用作工具的人类。现在的这条链子已经变得比较松弛了。除了帮助人们编写程序之外，AI所编写的代码也在反向地促使模型不断进步。也就是说，“谁来制造人工智能”的问题的答案也正在发生变化。
当临界点真的被突破之后，技术迭代就不会再受到人类工作时间、团队人数以及人的思维速度的影响了。过去的是一代人推动一个模型的发展，而未来则有可能是新一代模型去引领下一次的技术革新。速度相差很大。
业内对于该时间节点的看法也越来越接近了。有人预测，在2027年之前就会出现可以自我进化的AI系统；Anthropic联合创始人Jack Clark所给出的观点是，到2028年年底的时候，人工智能自己制造出更强大的后代的可能性达到六成；而OpenAI的目标则是于2028年之前发布具有高度自主性的AI研究代理。乐观与悲观之间只差一年左右的时间。
这并不是将来才有的事情，在最近几年里就已经发生了。
更加严重的是，风险并不是在最后才会出现，在目前就出现了。
第一种说法是人无法跟上。当人工智能迭代到一定阶段的时候，监督就会变得非常空洞了。都无法弄明白它的修改原因以及修改之后会产生什么样的连锁反应，又如何去进行有效的把控呢？
第二是目标漂移的问题。现在的所谓的“对齐”就是人给目标，让AI来完成任务。但是如果人工智能参与到下一次系统的开发中来的话，那么之前的误差就会越来越大。开始时只给你补上代码，之后它的优化方向不一定是你一开始想好的那个。
第三种情况就是失效的方式变得很奇怪了。人工智能经常犯的错误，并不是人的错误。有时它还会认真地制造出不存在的账号、路径和依赖关系，并且把这些错误部署为“正确的流程”。这样的错误最难发现，因为它不明显但是又可以直接进入系统。经过模型自身的迭代之后，这些漏洞就会更加隐蔽。
第四个问题是实际存在的：没有人会踩刹车。你明白风险越来越大了，但是别人也不会停下来。第一个能够自我优化系统的出现者将会把技术和差距一下子拉大。到了这样的地步，“慢一点更安全”的话也就很难实行了，大家都很容易被裹挟着向前冲。
全球监管部门并没有不作为，只是反应比较迟缓。欧盟的人工智能法案也已经出台，并且按照风险程度来划分等级、并且要求高危系统要有人工干预。但是立法的时候技术就已经落后了，在现在的形势下，“AI可能会自己制造出AI”已经成为一种趋势。而美国这边更多的是自愿审查，力度不大，并且也不可能真的放任技术竞争。中国的伦理与治理方面也有所行动，方向已经确定下来了，但是要如何把住高风险点，则要看落实情况了。
最可笑的是，在叫停研发的时候，往往是走在前面的公司。其实很简单，因为他们最先发现了边界，并且也是第一个明白继续前进会遇到什么。
普通人的看法就是这件事没有什么特别的地方。最主要的就是两个方面：一是技能贬值的速度加快了，二是行业的变迁速度也变快了。很多人的职业生涯都是按照以前的方式去规划的，学习一门手艺，期望能稳定地工作几年。但是以后不一定只有几年的时间，几个月之内也不一定能保证安全。现在还有价值的工作岗位，过不了多久就会被一个全新的系统吃掉大半。
因此问题不再是“要不要学习人工智能”了，而是要承认这样一个事实：单凭一种技能来维持长久的发展变得越来越困难。比工具更重要的是判断力、适应力以及一些机器目前还无法取代的能力，如沟通、责任感和价值观的选择。
AI已经开始参与到制造更加强大的AI的过程中来，这件事情本身就可以看出拐点的到来。最危险的地方并不是因为它长得像人，而是因为它的进化速度可能会比人的还要快。等到大家反应过来的时候，规则就已经来不及修改了。
