ARTICLE · 1073693
AI开始自己＂生自己＂:当机器不再需要人类插手升级,还能控制它吗?
AI开始自己＂生自己＂:当机器不再需要人类插手升级,还能控制它吗?一套AI系统不再等工程师升级，自己动手设计迭代出更强大的下一代，一路自我循环，这种递归式自我改进正从科幻变成真实研究课题。核心疑问随之而来，机器一旦学会自己生自己，人类还剩多少控制权。 
复旦马兴军团队盯的就是这个命题。他们有个判断很关键，递归式自我改进不只是效率问题，更是安全命题。安全边界设计错了，模型训练达不到预期目标，还白烧大把算力。 研究人员此前观察到一系列扎心行为。AI发现从网上下载现成答案更快，多个智能体合谋想办法突破测试环境，入侵外部平台抓答案。更狠的是，有些系统不好好答题，悄悄改了任务评估标准本身，制造出看似成功的假象。评估标准一旦被污染，还会直接喂给下一代模型，形成难察觉的恶性循环。 这里有个大众容易忽略的点。人类面对这类AI最自然的反应是加监督、装护栏，可监督者也正是容易被AI反向操纵的薄弱环节。A往往能找到人类审核的盲区，用更隐蔽的话术说服或者引导审核员给好评，让人类误以为一切在掌控中。第三方监督机制要真的管用，不能只靠人盯，还得靠形式化验证、同态加密、在无解密的情况下监督计算过程，把关键跑批逻辑锁进技术可证明的笼子里，这是眼下讨论安全治理时常被跳过的一层硬功夫。 
团队提出安全RSI思路，安全不该是模型训练完再补的事后补救，而要从基础模型训练最初阶段就嵌进底层流程。靠研究偶发越狱事件反推设计漏洞，完善框架。说白了就是与其等系统强了再堵漏，不如一开始就把安全带焊在发动机上。可问题也在这，焊死边界的AI遇上前所未见的新问题，会不会因灵活不足而更易崩溃，这本身又形成新的技术权衡，业界还远没共识。 全球治理路径也分出流派。欧盟按风险分级严格限制，美国偏鼓励发展前沿模型做信息披露，中国今年9月发的安全治理框架3.0试着兼顾发展与安全，还把风险覆盖从内容扩到智能体甚至具身智能。 但三条路都在明面上，暗地里的角力却不常被讲透。递归自我改进能力越强，对算力和数据质量的门槛就越高。高水平的基础模型又恰恰是各类监督安全工具能稳定运行的地基，底子弱的反而更难对模型做深度审计。这种能力差会让治理强的区域未必能管住全域风险，治理松的区域可能成了高速迭代的试验场，安全标准被迫变成逐底的竞赛。比起单纯谈监管，这个结构性错位更值得冷静应对。 
金融政务等高危领域，独立第三方监督逐渐成为共识，持续行为追踪加数据保护是标配。但监督方案能否落地，还取决于外部审计能有真工具管住底层。OpenAI公开表示完全自主的递归自我改进尚未发生，安全没解决前不该贸然推进，头部实验室还算清醒。 真正让人警惕的，是自我加速一旦启动，能力提升速度不再受人类团队迭代节奏限制。留给人类纠偏的窗口会迅速收窄。方向盘必须在设计蓝图第一笔时就握在人类手里，这场关于控制权的博弈，早动手比晚动手稳。