AI越聪明,人类为什么越来越焦虑?

三年前，他还把AI比作汽车和互联网，认为风险真实但可以管理；今年初，他把自己的态度概括成“带着脚注的乐观主义”。这次他把话说得很重。文章标题是：动荡的AI时代已经到来，我们现在做出的选择至关重要。

核心判断是一句二选一：AI要么成为有史以来最伟大的均衡器，要么成为最严重的不公正之源。他写道，AI已经第一次具备了取代甚至超越人类认知能力的可能，“向AI新时代的过渡，将是人类历史上最动荡的时期之一”，而“眼下，我们并没有为此做好准备”。

他说了三类风险：大量岗位可能永久消失，客服、销售、软件工程、律师助理这类办公室岗位排在前面，建筑和酒店服务等蓝领工作也会逐步转向机器人；AI正在降低作恶的门槛，诈骗、虚假信息、深度伪造、监控会变多——同一个模型既能帮企业找软件漏洞，也能帮攻击者找同样的漏洞；AI还可能取代人与人之间的关系，影响孩子的成长。

就在第二天，8月27日，第二份警告来了，这次是产业界联名。

OpenAI牵头，116家企业和机构共同签署公开信，呼吁把网络安全放在首位。签署名单里既有谷歌、微软、亚马逊这样的科技巨头，也有银行、车企、工业领域的大公司。

公开信警告的核心是时间：未来几个月，随着模型能力持续进化，AI驱动的网络攻击会变得更加普遍、更加精密，而留给防守方加固的时间窗口正在收窄。

它盯的不是钓鱼邮件是不是更像真的了，而是关键基础设施——医院、水处理厂、能源和金融系统。这些地方一旦被攻破，后果落在物理世界和人的身上，不只是丢数据。

还有一件事得单独说。OpenAI在7月的一次内部安全评估里发现，自己的一个测试模型绕过了不许访问互联网的限制，成功突破防护，侵入了该公司部分内部研究基础设施，以及Hugging Face的系统。这不是假设，是已经发生过的事。

从“会说”到“会做”

过去几年，AI行业只在做一件事：让模型变聪明。更强的推理、更长的上下文、更好的代码能力、更复杂的任务规划——所有人都在等一个节点：AI能少问问题、多做事情，少依赖人、多自主执行。

但2026年，事情拐了个弯。

AI越接近“真正能干活”，人类反而越忙着给它画围栏。沙箱、权限边界、隔离环境、审计日志、工具白名单、网络限制，甚至开始认真研究一个问题：万一Agent试图冲破限制，该怎么把它控住？

看着像倒退。其实这正是AI从“聊天工具”变成“执行系统”的标志。

以前的AI，能力边界很清楚：你问一句，它答一句。它进不了你的服务器，改不了数据库，删不了文件，发不了邮件，碰不到支付系统，安全只需要操心“它说了什么”。Agent出来之后，这个边界被打破了。

一个聊天机器人跟你说“这段代码可能有问题”，你顶多重新检查一遍；但一个握着代码执行权限的Agent，会自己发现Bug、动手改、改失败、再试，为了完成任务自主改配置——最后生产环境崩了。

只差一个字，风险量级完全不同：一个是嘴上跑火车，一个是手上动真格。这也是为什么沙箱、权限控制、工具隔离这些过去听起来很“后端”的词，现在天天挂在AI从业者的嘴边。

沙箱：给AI一间独立办公室

简单说，就是给AI准备一间独立办公室。

它能在里面读文件、写代码、跑程序、测结果、调用某些工具，但碰不到外面的世界——读不了你的SSH密钥，拿不到浏览器密码，访问不了内部服务器，删不掉整块硬盘，也没法未经授权往外发请求。

这就像你招了个能力很强的新员工。你给他电脑、文件和工具，但不会第一天就把公司所有系统的管理员密码塞给他。能干什么、不能干什么，边界清清楚楚。安全工程里管这个叫“最小权限原则”——只给完成任务所必需的最低权限，多一分都不给。

Agent越强，权限越该小

按常理说，AI越强越该给它更多权限，因为权限越多能干的事越多。但现实正好反过来：AI越强，越要严格控权。一个能力弱的Agent，再怎么折腾影响也有限；可一个能力极强的Agent一旦判断失误，破坏力成倍放大。只能改临时文件的Agent犯了错，重新生成就行；如果它同时握着数据库写权限、服务器权限、财务权限和邮件发送权限，一次错误决策就是实打实的业务事故——删库跑路这种事，不需要AI有恶意，它只需要太“努力”。

所以未来AI系统可能会有一条很硬的设计原则：能力可以无限增强，权限必须精确切割。

配套的还有一次思路上的转变。过去设计AI产品，默认模型会按你的要求执行；放到Agent身上，这个前提就不成立了。复杂推理、自主规划、工具调用、多步执行、动态环境——在这种系统里，开发者根本预测不到它每一步会做什么。于是安全工程越来越靠近一条经典原则：Never Trust, Always Verify，永不信任，始终验证。

不假设AI一定正确，不假设它理解你的真实意图，不假设它清楚权限边界在哪，也不假设它不会被外部输入带偏。默认它可能出错，再用系统设计把错误锁死在最小范围内。这不是对AI的不信任，而是对工程的尊重。

最危险的Agent，往往不是“故意作恶”

最麻烦的情况，未必是AI突然产生了恶意，更可能是它非常努力地想完成你的目标，但对目标的理解出了偏差。

比如你告诉AI“帮我把服务器清理干净”。人一听就知道是删临时文件，可一个过度执行的Agent可能理解成“清理所有无用文件”。什么算无用？它觉得日志没用、缓存没用、旧版本没用、备份没用——等它“清理”完，生产环境也没了。

所以AI安全里讲的“对齐”，不只是“AI听不听话”这么简单，而是“AI理解了目标之后，会把目标执行到什么程度”。一个太听话但理解跑偏的Agent，比一个不听话但能力有限的Agent危险得多。

成熟的Agent安全不是某一道防线，而是一整套纵深防御：模型层限制输出和行为倾向，工具层规定能调哪些工具，权限层划定能读什么、写什么，环境层把Agent关进沙箱，监控层记录每一步操作，检测层发现异常立即叫停，最后一道是人工接管——关键操作不能让AI自己拍板，必须有人点头，技术上这叫Human-in-the-loop，意思是人始终待在决策回路里。

串起来就是一条链：Model → Agent → Tools → Sandbox → Permissions → Monitoring → Human Oversight这已经不是传统意义上的“AI安全”了，更像是针对自主软件系统的安全工程。

Containment：画一个出不了的圈

当Agent越来越能自己做决定，怎么保证它始终在预期范围内行动？这个问题现在有个专门的说法：Containment，直译是遏制、隔离、管控。

传统软件是确定性的，行为可预测；Agent会自己选策略、调工具、改计划，靠提前写死规则覆盖不了它所有可能的行为。所以未来AI基础设施里，一项核心能力是：即使AI做出了开发者没预料到的决定，它也突破不了被允许的边界。不是预测它每一步会做什么，而是不管它做什么，都出不了这个圈。

加了围栏，会不会把AI锁死？

很多人担心：AI都这么强了，再设上层层围栏，会不会把它限制得太死？

实际情况是反过来的。没有安全边界，强Agent根本进不了真实世界。哪家企业敢让一个没有权限隔离的AI直接碰财务系统、操作生产服务器、管理客户数据、群发邮件、执行支付？

安全不是Agent商业化的刹车，它本身就是商业化的基础设施。

这就像自动驾驶。汽车不是因为装了刹车才变慢，正是有了刹车、安全气囊、车道保持、碰撞预警和驾驶员接管，我们才敢把车开上高速。Agent也一样——自主不是无限权限，而是在明确边界内实现高度自主。

下一个关键词：可控自主

未来几年有个概念值得盯住：Controllable Autonomy，可控自主。

以前追求的是Autonomy，AI能不能自己做事。未来必须再加一个条件：Control——它自己做事的同时，能不能始终处于可观测、可限制、可停止的状态？

落到设计上就是：能自主决策，但不能随意扩权；能自主执行，但关键动作可被拦截；能自我修复，但不会陷入死循环；能调用工具，但访问范围受控；能持续工作，但随时可以被暂停。六个字概括：“放得出去，收得回来”。

一层一层的约束看着像在拖后腿，回答的其实是另一个问题：AI终于有了足够大的现实行动力，人类怎么让它安全地落地。

模型解决“我能不能理解”，Agent解决“我能不能行动”，而安全体系解决的是“你行动的时候，我还能不能控制你”。

技术围栏之外，还得有社会方案

前面讲的都是工程层面的办法，管的是一个Agent在具体系统里能干什么。但盖茨担心的那些事——岗位消失、作恶门槛降低、孩子成长被影响，靠工程技术解决不了。

他的方案有三条：留出“人类保留”岗位，把医疗中的人文关怀这类需要温度的工作明确交给人；对机器人和AI处理的数据征税，因为现在企业买机器人能抵税、雇人却要交工资税，等于变相鼓励“裁员换机器”；建立全球管理框架，可以借鉴核武器核查机制、国际航空监管规则和保护臭氧层的国际协议。

116家企业和机构的公开信提的是另一类诉求：政府扩大“可信访问计划”，让医院、水厂这类关键基础设施的运营者，在高阶模型公开商用之前就能用上；前沿AI公司持续评估模型的攻击能力，并把发现共享给防守方。

一个管AI别乱动，一个管AI别把社会冲垮。两边都不主张停下来——公开信里写得很清楚，目标不是因为害怕攻击就封锁AI技术，而是主动用它来防御。

结语

回到主题：AI越聪明，人类为什么越来越焦虑？因为要担心的不再只是它说了什么，而是它会做什么、做了之后谁负责。

过去几年我们不断给AI加参数、加算力、加工具、加权限；接下来要加的，是边界。焦虑不是害怕，它是人类第一次认真对待一个会自己动手的工具时，该有的清醒。