莲花山AI科普 | 要不要给AI“放权”? ——从聊天机器人到真正的数字助手

从 2023 年开始，AI圈出现了一个重大变化：大模型开始被接入“工具”。比如 OpenAI 、推出了 ChatGPT 插件：联网浏览和 Code Interpreter，后来又在 推出 function calling。简单来说——联网浏览是让 AI 自己去查资料，Code Interpreter 是让 AI 在一个受限制的环境里运行代码，function calling 则是让 AI 调用开发者提前准备好的功能接口。

自此， AI 从“语言模型”进化为“操作系统里的调度员”。比如你让它分析一个表格，它不一定只给你一段分析文字，而是可以运行代码算出结果；你让它查询最新信息，它不一定只依赖训练时学到的知识，而是可以去联网搜索；你让它帮一个应用下单、查票、订餐，理论上它可以通过接口调用真实服务。

这就是 AI 放权的第一层：让 AI 拥有使用工具的能力。从这一刻开始，AI 已经不再只是聊天框了。

工具调用解决了“AI 能不能动手”的问题。下一步是“AI 能不能自己安排怎么动手”。

2023 年春天，Auto-GPT、BabyAGI 这类开源项目突然爆火。它们今天看起来可能有些粗糙，甚至很多演示效果并不稳定，但它们在 AI 发展史上有一个很重要的意义：它们让普通人第一次直观看到，AI 可以不只执行一步指令，而是围绕一个目标自己循环。

过去使用 AI，更像是你一步一步发号施令：“帮我列个计划。”“帮我调研一下某某行业的前景。”“把结果整理成表格。”这些每一步都需要人来推动。而 Auto-GPT 这类项目展示的是另一种想象：人只给出一个目标，比如“帮我调研一个市场”，AI 自己把目标拆成子任务，自己决定下一步做什么，自己检查结果，再进入下一轮。它具有了自主循环。

这不代表 AI 在当时真的很好用。事实上，早期的这类“自主智能体”，经常跑偏、重复、卡住，甚至把简单任务做得很复杂。但它提出了一个后来非常重要的产品方向：AI 应该能围绕目标持续推进任务。

这一步让“权限”的含义又扩大了。AI 不只是有工具可以调用，还开始拥有一定的执行链条：计划、执行、观察结果、修正计划、继续执行。这也是今天很多 Agent 产品的基本雏形。

2024 年，Anthropic 推出 Claude 的 computer use 能力。简单说，就是让 AI 能看到电脑屏幕，并通过移动鼠标、点击、打字等方式操作电脑。

这件事听起来很普通，但在现实世界里，大部分人的工作发生在网页、表单、后台系统、办公软件、浏览器标签页里。人类每天做的大量数字工作，其实就是看屏幕、点按钮、填表格、复制粘贴、切换页面。如果 AI 只能调用少数几个接口，它能做的事情就会受限。但如果 AI 能像人一样操作浏览器和电脑，它理论上就能进入更多真实工作场景。

比如，它可以打开一个后台页面，查找某个订单；它可以在网页里填写表单；它可以根据页面反馈继续下一步；它可以在多个系统之间搬运信息。这时候，AI 的角色就更接近一个“坐在电脑前的数字员工”。

当然，这一步也让风险变得更真实。因为点击、输入、提交这些动作，本来就是人类在电脑上完成真实操作的方式。AI 一旦能操作界面，就不再只是生成建议，而是在替人进行数字动作。

如果说前面几步还偏概念，那么 Claude Code、Codex 这类编码 Agent 的出现，就让很多人第一次真正感受到：AI Agent 不是科幻，而是正在变成生产力工具。

过去我们让 AI 写代码，很多时候是这样的：你描述需求，AI 生成一段代码，你复制出来，粘贴进项目，然后自己调试、改错、跑测试。AI 提供的是“代码片段”，真正把代码接进项目的人还是你。

但编码Agent的工作方式不一样。以 Claude Code、Codex 这类工具为代表，AI 可以读取代码仓库，理解项目结构，搜索相关文件，修改代码，运行测试，看报错信息，再根据错误继续调整。它不是只回答“你应该怎么修”，而是直接参与“把它修好”的过程。这正是权限带来的变化。

没有项目访问权限，AI 只能根据你复制的几段代码猜测上下文；有了项目访问权限，它才能理解调用链、配置文件、测试用例和真实报错。

没有文件修改权限，AI 只能给你建议；有了文件修改权限，它才能真正改代码。

没有运行命令的权限，AI 不知道自己的修改是否通过测试；有了运行测试的权限，它才能根据结果自我修正。

所以，Claude Code、Codex 爆火的原因，不只是“AI 更会写代码了”，而是它们把 AI 从代码生成器推进到了工程工作流里。自此，AI 不只是“生成”，还开始“检查”和“修正”。它能先写一版，再反过来审视这一版哪里不够好；能根据测试结果修代码，也能根据读者视角改文章。这种自我批判和迭代能力，才让 AI 更接近真正的工作伙伴。

既然 AI 能调用工具、拆任务、操作电脑、修改代码，群众会自然而然的生起一种对AI的恐惧，我们不应该因为恐惧所以止步不前。因为给 AI 放权这件事，本质上和所有生产力工具的发展一样：能力越大，越需要规则。汽车比马车快，所以我们需要红绿灯、刹车、安全带和驾照；互联网连接了全世界，所以我们需要密码、权限管理和风控系统；AI 能替人完成任务，所以它也需要自己的安全边界。

真正的标志性突破，不只是 AI 获得权限，而是权限和审核机制开始绑定在一起。比如很多编码Agent会让用户确认关键操作：是否允许读取某个目录，是否允许修改文件，是否允许执行命令，是否接受某个改动。Claude Code 这类工具也会提供不同程度的人类确认和自动化模式，让用户在“严密审核”和“部分放手”之间切换。

这就是所谓 的人类在环。它的意思不是每一步都必须人类亲自操作，而是关键节点必须有人类参与判断：哪些操作可以自动完成，哪些操作需要确认，哪些权限只能临时授予，哪些结果必须可追踪、可撤回。这套机制，才是 AI 能被大规模授权使用的基础。

过去 AI 说错一句话，最常见的后果是误导用户。它编了一个不存在的资料，给了一个不准确的解释，或者把某个概念讲错了。这个阶段的问题主要是“信息风险”：答案不准，用户需要自己辨别。

但当 AI 拥有更多权限之后，风险就不只停留在信息层面了。它可能读取敏感文件，可能错误修改代码，可能在不合适的地方调用工具，可能误解用户意图，甚至可能被人用精心设计的话术诱导，做出原本不该做的操作。

比如，一个接入账号系统的 AI 客服，如果只负责回答问题，风险相对有限；但如果它能处理申诉、重置权限、修改账号状态，它就必须面对更复杂的安全问题。攻击者可能不再只是骗一个人，而是试图“说服”一个 AI 系统替他完成操作。

再比如，一个能修改代码的 AI agent，可以极大提高开发效率，但它也可能引入隐藏 bug，误删重要逻辑，或者在没有充分理解项目约束的情况下做出看似合理、实际危险的改动。

但这并不意味着我们应该回到“不给 AI 任何权限”的状态。那样当然更安全，但也会让 AI 重新退回聊天框。真正的问题不是 AI 有没有权限，而是权限有没有边界；不是要不要让 AI 做事，而是要让它在什么范围内做事。

对普通用户来说，可以记住三个简单原则。

第一，最小权限。只给 AI 完成当前任务所需要的权限，而不是一上来就把所有东西都开放给它。

第二，关键操作确认。AI 可以帮人做大量准备工作，比如整理资料、生成方案、修改草稿、检查代码。但到了删除文件、发送邮件、提交代码、修改账号、调用支付这类关键动作时，最好有明确的人类确认。

第三，可追踪和可回滚。一个成熟的 AI 系统，不能只是“帮你做完了”，还应该让你知道它做了什么、为什么这么做、改了哪些地方。如果结果不对，用户应该能撤回、恢复、查看记录。

这三件事背后的逻辑很简单：我们不是把 AI 当成一个永远正确的神，而是把它当成一个越来越能干的秘书。秘书可以帮助领导，也就是我们，完成很多事情，但是重要决策仍然需要领导来下达。

简单来说：对于低风险、可修改、可撤回的事情，可以多交给 AI；对于高风险、不可逆、涉及钱和身份的事情，必须保留人类确认。

比如整理资料、改文章、分析表格、生成代码初稿，这些适合让 AI 多做一点；但发送正式邮件、删除重要文件、提交关键代码、修改账号权限、处理支付和合同，就不应该完全自动化。AI 可以准备、检查、建议，但最后一步应该由人来点头。这不是不信任 AI，而是成熟使用 AI。

AI 的下一阶段，不会只是更会聊天、回答更流畅、语气更像人。更重要的变化是，它会越来越多地进入真实工作流，接触真实文件，调用真实工具，完成真实任务。

所以，给 AI 放权并不是失控的开始，也不是一个可以简单拒绝的方向。它更像是智能工具走向成熟的必经阶段。

没有权限，AI 很难真正做事；没有边界，AI 又可能把事情做错。

未来真正重要的能力，可能不只是“会不会使用 AI”，而是“会不会管理 AI 的权限”：知道什么时候让它自己做，什么时候让它先问你；知道什么数据可以给，什么操作必须确认；知道如何让它发挥价值，同时不把关键风险交给运气。

普通人不需要因为 AI 开始拥有权限而恐慌，但有必要理解这件事意味着什么。AI 正在从一个会回答问题的工具，变成一个能参与任务的助手。我们要学的不是远离它，而是学会和一个越来越能干的 AI 共事。

参考资料

· OpenAI, ChatGPT plugins, 2023

· OpenAI, Function calling and other API updates, 2023

· Ars Technica, Hype grows over autonomous AI agents that loop GPT-4 outputs, 2023

· Anthropic, Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku, 2024

· Anthropic, Claude 3.7 Sonnet and Claude Code, 2025

· OpenAI, Introducing Codex, 2025

文字 | 徐清源

编辑 | 杨景清

审核 | 王昱