AI明明看到了,为什么还会点错?

你让 AI 打开网页、找到一份资料，再把标题和链接整理出来。有时它一路操作，几秒钟就交差了；有时却在页面上绕来绕去，点错按钮，或者你明明已经登录了，它还是说看不到内容。

这时我们很容易问：“AI 到底会不会操作电脑？”

这个问题其实包含了几个不同的问题：它看到了什么？它通过什么工具操作？它连接的是哪个浏览器？操作之后，它有没有检查结果？

弄清这些问题，就能判断 Agent 的操作问题出在观察、工具连接还是执行环境，也更容易为不同任务选对工具。

让 AI 在网页上找资料，表面上像是一件事，实际更像一连串小步骤：

在 AI 研究中，有一种叫 ReAct 的范式，名字来自 Reasoning + Acting。相关论文讨论了模型如何把推理和行动交替进行：行动可以从环境里获取新信息，新的观察又能帮助模型调整后续计划。ReAct 论文

放到浏览器任务里，可以这样理解：AI 看见当前页面后，判断“搜索框在哪里”，再发起点击和输入；工具执行后把新页面状态返回，它再判断结果里有没有目标信息。

图：ReAct 研究中对“只推理、只行动、推理与行动结合”的对照。来源：Google Research 对 ReAct 论文的介绍。

需要注意，ReAct 是理解 Agent 行为的一种研究范式，不是所有商业产品共同遵守的一套内部标准，也不意味着用户能看到模型完整的内部推理。对使用者来说，更重要的是观察这条实际操作链：AI 收到了什么信息、调用了什么工具、操作后有没有核验。

如果它看到的信息不完整，或者动作执行后没有拿到正确反馈，即使模型本身“会推理”，整个任务也可能走偏。

这几个词经常一起出现，很容易被理解成三种互相竞争的产品技术。其实它们回答的问题不同：

Computer Use 和 Browser Use 讲的是操作环境与交互方式；MCP 讲的是工具怎样接入。使用 MCP 的浏览器工具可以让 Agent 读取网页结构，也可以提供截图；具体拿到什么，取决于这个 MCP Server 实现了哪些能力。

图：把观察数据、工具接入和执行环境分成三个维度。Computer Use、Browser Use 描述操作能力，MCP 描述工具连接方式；实际产品可以组合使用。

Computer Use：通过截图和坐标操作

有些 Computer Use 实现会把屏幕截图交给模型，让它判断要点的位置，再由执行环境模拟鼠标和键盘。Google 的 Computer Use 文档描述了“发送截图、返回界面动作、执行后重新截图”的循环。Google Computer Use 文档

截图的优点是通用：网页、桌面应用、设置弹窗都可以看。但模型看到的只是图像，不一定知道某个区域在程序里究竟是按钮、广告，还是一张装饰图片。它还需要把视觉上的位置转换成点击坐标。窗口缩放、屏幕分辨率或页面滚动只要变了，坐标就可能失准。

公开的 Codex 问题记录中，有用户报告过应用内浏览器截图区域和实际坐标不一致的情况。这是一条具体的问题报告，不代表所有 Computer Use 都会遇到同样问题；但它说明，像素坐标和执行环境之间的对应关系，是这种交互方式必须处理的工程问题。Codex 问题记录

图：Google Computer Use 示例中的“截图—模型动作—执行—重新截图”循环。来源：Google AI for Developers。说明：为适配公众号浅色页面，配图使用白底版本。

Browser Use：读取网页结构后定位元素

浏览器可以提供比截图更结构化的信息，例如：

一些 Browser Use 工具会把这些元素连同引用编号交给模型。模型随后可以说“点击搜索按钮”，而不必从截图中估一个坐标。Playwright MCP 默认用可访问性快照描述网页元素，并支持通过元素引用进行交互。Playwright MCP 快照说明

这种方式通常更容易精确操作网页控件，但页面结构也有边界。某些内容没有可用的可访问性信息；画布绘制的界面、视频、特殊嵌入内容，也可能需要退回到截图。页面导航或更新之后，之前取得的元素引用还可能失效，需要重新读取页面。Playwright 文档也建议在页面变化后重新获取快照。

所以，截图和网页结构并非谁完全取代谁。很多实现会在结构信息足够时优先用元素定位，在需要判断视觉布局时再看截图。

MCP：具体能力取决于连接的工具

MCP 是工具连接协议，不是“DOM 模式”，也不是“截图模式”。

举个例子，Agent 查订单可以有两条路：

第二条路径如果由 MCP Server 提供，Agent 可能直接拿到订单编号、状态、金额等字段，不必模拟点击。它会更直接，但只能做 Server 明确提供的操作。如果没有“取消订单”工具，Agent 也不能凭空获得这项能力。

另一个 MCP Server 也可以连接浏览器，让 Agent 读取网页结构、执行点击或取得截图。此时它返回什么，仍然由 Server 的设计决定。

因此，比较 MCP 时，不能只问“它比 Computer Use 好不好”，而要问：它连接的是什么服务？工具返回哪些字段？Agent 能执行哪些动作？使用什么权限？

“自带浏览器”通常描述产品提供给用户的入口；MCP 描述工具接入方式。两者可以并存：一个产品可以提供开箱即用的浏览器能力，同时也允许用户安装 MCP Server。

截至 2026 年 10 月，几种主流产品的公开文档呈现出这样的差异：

这张表比较的是官方文档公开的产品入口和工具接入方式，不是对各家全部内部实现的逆向分析。产品功能还会按版本、订阅和地区变化。

核心区别还是要回到三个问题：Agent 当前连接哪个浏览器？它从页面获得什么数据？浏览器控制工具是产品提供的，还是由用户接入的 Server 提供的？

浏览器已经登录，Agent 为什么看不到页面？

这是浏览器操作里很现实的困惑。原因通常不是“Agent 不会看登录状态”，而是它操作的浏览器和你登录的浏览器不是同一个环境。

云端虚拟浏览器可能有独立的 Cookie 和会话；桌面应用内置浏览器也可能有自己的配置；浏览器扩展则可能连接本机当前使用的 Chrome 配置。即使网页地址相同，登录状态也不会自动在这些环境之间同步。

ChatGPT 桌面端的说明明确指出，内置浏览器和普通浏览器的配置相互独立；需要使用现有 Chrome 会话时，应通过扩展连接。ChatGPT 浏览器说明

使用外部 Browser MCP 时也要检查它启动的是全新浏览器、持久化配置，还是连接现有浏览器。Playwright MCP 提供不同的浏览器配置方式；持久化状态可以保留登录信息，但这是具体 Server 的能力，不是 MCP 协议自动带来的特性。Playwright 用户配置说明

遇到“我明明登录了，它还是看不到”，先确认：

1. 01
   Agent 操作的是内置浏览器、云端虚拟浏览器，还是本机浏览器？
2. 02
   当前标签页和账号是否正确？
3. 03
   这个浏览器环境是否保留了登录会话？
4. 04
   浏览器工具是否有读取和操作该网站的权限？

只检查“我电脑上的 Chrome 已登录”是不够的。

不同工具会有不同的故障点，但都绕不开“观察—判断—操作—核验”这条链。

如果用截图和坐标，页面滚动、窗口缩放或弹窗可能让坐标落在错误位置；如果读网页结构，导航之后元素引用可能过期，或者目标根本没出现在可访问性树里；如果走 MCP 接口，则要看返回数据够不够、操作权限是否正确、Server 有没有提供核验结果。

任务越长，这些偏差越容易累积。比如“登录、搜索、筛选、打开详情、更新信息、保存”，每一步都依赖前一步的页面状态。即使每一步单独看似乎都能执行，整条任务也可能中途偏离目标。

真正可靠的 Agent 不只是发出动作，还应在动作后验证结果：按钮点下去后页面是否变化？表单保存后是否出现成功状态？查询到的数据是否符合筛选条件？如果工具没有返回这些证据，AI 说“已经完成”也不等于任务真的完成。

可以按任务特征来选，而不是按产品名气来选：

• 操作桌面软件、设置窗口、没有网页接口的应用
  ：Computer Use 更适合，因为它能通过界面操作不同应用。
• 在网页里查找和操作控件
  ：Browser Use 通常能利用页面结构，减少单纯依赖坐标的误差。
• 读取或修改业务记录
  ：如果系统提供可靠的 API 或 MCP 工具，结构化接口往往更直接，结果也更容易核对。
• 需要使用已有登录状态
  ：先确认 Agent 连接的是本机浏览器还是独立环境，再判断是否需要扩展或持久化会话。

不管用哪种工具，给 Agent 的任务都应该包含目标、边界和完成标准。比如不要只说“处理这笔订单”，可以说：

这会让 Agent 知道自己该查什么、不能做什么，以及什么时候必须停下来。

对付款、发送消息、删除内容或修改账号等有后果的动作，保留人工确认；长任务拆成几个可检查的阶段；完成后要求它说明页面上看到的依据。这些做法不能让它永远不出错，但能缩短错误发生后才被发现的距离。

理解 Agent 操作电脑，关键不在于记住几个名词，而在于把它拆成一条具体链路：观察数据从哪里来，工具怎样连接，动作在哪里执行，结果如何验证。看懂这条链路之后，“AI 为什么有时灵、有时笨”就不再只是模型玄学，而是可以逐环检查的问题。

别把 Agent 的失误当成玄学——把“观察、连接、执行、核验”逐环检查，问题就有答案。

参考资料

本文涉及的产品能力整理自以下公开文档（截至 2026 年 10 月）：

· ReAct 论文：Synergizing Reasoning and Acting in Language Models

· Google Computer Use 文档

· Playwright MCP 文档

· Anthropic Browser Use 文档

· Cursor Browser 文档

· VS Code Browser Tools 文档

文中对比基于官方公开文档，不构成对各产品的完整功能评估；产品功能会随版本、订阅和地区变化。配图来自 Google Research 与 Google AI for Developers 官方博客/文档，保留原图内容。

金仓社区【1024】21天打卡活动

提交答案 + 口令截图即可打卡～点击【阅读原文】，即可跳转总帖坚持 21 天，码到功成！