乐于分享
好东西不私藏

Codex最值得安装的插件之一:Computer Use详细使用攻略

Codex最值得安装的插件之一:Computer Use详细使用攻略

以前使用Codex,我们通常让它读取文件、修改代码或执行命令;但遇到只有图形界面的软件,它就很难直接操作。例如测试一个桌面应用、点击系统设置、在浏览器里完成一整套流程,或者复现一个“只有点到这里才会出现”的界面Bug。

Computer Use解决的正是这个问题。

安装以后,Codex不只能够理解文字和代码,还可以看见电脑上的应用窗口,通过鼠标点击、键盘输入、菜单导航和页面滚动完成操作。简单来说,它让Codex拥有了操作图形界面的“眼睛”和“手”。

不过,这项能力也比普通插件更敏感。它能够看到屏幕内容,并可能改变应用或系统状态。因此,Computer Use最适合目标明确、范围可控的任务,而不是一句“帮我随便整理一下电脑”。

一、Computer Use到底是什么?

Computer Use是ChatGPT桌面端提供的一项计算机操作能力,在支持的地区可以配合ChatGPT Work和Codex使用。它通过观察图形界面,完成点击、输入、拖动、滚动和窗口切换等操作。

它适合处理以下任务:

- 测试macOS或Windows桌面软件;

- 操作iOS模拟器,检查App完整流程;

- 在浏览器中测试登录、表单和结账页面;

- 打开只能通过图形界面访问的设置;

- 复现鼠标点击或窗口切换后才出现的Bug;

- 跨多个桌面应用完成一套工作流;

- 查看没有API、MCP或专用插件的数据源。

Computer Use并不是远程桌面,也不是普通的录屏工具。它会根据任务目标理解界面,然后决定下一步需要点击哪里、输入什么或检查什么。

如果目标服务已经拥有专门的插件或MCP连接,例如GitHub、Slack、Google Drive等,通常应该优先使用结构化连接。因为结构化工具读取数据更稳定,也更适合批量和重复操作。只有在必须“看着界面操作”时,Computer Use才是更合适的选择。

二、安装前需要满足哪些条件?

根据OpenAI官方说明,Computer Use目前支持macOS和Windows版ChatGPT桌面应用,并用于ChatGPT Work或Codex场景。它不是手机端插件,也不能在Codex IDE扩展中直接使用。

安装前建议确认:

1. 已经安装并登录最新版ChatGPT桌面应用;

2. 当前账号和所在地区支持Computer Use;

3. 使用个人设备,或公司的管理员已经允许安装该插件;

4. macOS用户能够授予屏幕录制与辅助功能权限;

5. Windows用户愿意在运行时让Codex占用当前活动桌面。

如果插件目录里完全找不到Computer Use,不一定是操作错误。它可能与账号方案、所在地区、工作区策略或分批开放有关。企业和教育工作区还可能由管理员统一关闭这项能力。

三、Computer Use安装教程

第一步:进入支持插件的界面

打开ChatGPT桌面端,然后选择以下任意一种方式:

- 进入Codex;

- 选择ChatGPT,并在切换器中打开Work。

普通Chat界面、手机端和IDE扩展不提供完整的Computer Use安装入口。

第二步:打开插件目录

进入“Plugins/插件”,搜索“Computer Use”,打开插件详情页面。

如果页面显示“Install plugin/安装插件”,点击安装;如果已经安装但显示“Enable/启用”,则继续点击启用。

第三步:打开服务器和技能开关

Computer Use通常包含操作服务与配套技能。在插件详情中,确认Computer Use服务器和Skill开关均已打开,然后选择“Try now/立即体验”。

如果只安装插件却没有启用相关开关,新任务中可能仍然无法调用计算机操作能力。

第四步:设置系统权限

macOS需要授予两项关键权限:

- “屏幕与系统音频录制”或“屏幕录制”:用于识别目标应用的画面;

- “辅助功能”:用于点击、输入和操作窗口。

可以前往“系统设置 → 隐私与安全性”检查对应权限。官方故障排查说明中使用的进程名称是“Codex Computer Use”。如果授权后仍无法操作,完全退出并重新打开ChatGPT桌面端,通常比只关闭当前窗口更有效。

Windows不需要相同的macOS权限设置,但目标应用必须保持在当前活动桌面中。Computer Use运行时会移动鼠标并输入文字,因此不要同时抢用键盘和鼠标。

第五步:检查应用访问权限

在ChatGPT桌面端打开:Settings → Computer use。

这里可以查看浏览器控制和已经允许的应用。首次访问某个软件时,系统通常会询问是否允许Computer Use操作该应用。

你可以选择仅本次允许,也可以使用“Always allow/始终允许”。后者虽然方便,但只适合无敏感数据、且你确定可以长期信任的应用。已经保存的允许记录,可以在设置中的“Always-allowed apps”列表里移除。

第六步:新建任务进行测试

安装插件后建议新建一个Codex任务,让新任务重新加载插件能力。可以输入:

请使用Computer Use打开计算器,计算125×36,把结果告诉我。除计算器外不要操作其他应用,完成后停止。

如果Codex能够请求计算器访问权限、打开应用并正确返回结果,说明基础安装已经完成。

四、怎样正确调用Computer Use?

提示词中可以直接写“使用Computer Use”,也可以使用`@Computer`或具体应用名称。例如:

使用@Computer打开这个桌面应用,检查设置页面是否可以正常切换深色模式。

不要修改其他系统设置,完成检查后报告结果。

或者:

打开@Chrome,测试本地网站的注册流程。

使用测试账号,不要提交真实付款,也不要保存密码。

发现问题时记录页面、操作步骤和报错信息。

一个好的Computer Use提示词,最好包含五项信息:

- 操作哪个应用;

- 要完成什么结果;

- 允许操作的范围;

- 哪些动作必须先征求确认;

- 完成后如何验证。

例如“帮我测试软件”过于宽泛,而“打开测试版App,从欢迎页完成注册,分别检查邮箱为空和密码不足8位时的错误提示,不要创建真实账户”就非常清楚。

五、10个值得收藏的实战用法

1. 自动复现桌面应用Bug

开发桌面软件时,很多Bug只有经过连续点击才能出现。可以让Codex一边操作,一边记录最小复现路径:

使用Computer Use打开测试版App。

依次进入设置、通知和声音页面,尝试关闭提示音。

如果应用崩溃,记录崩溃前最后三个操作,并检查项目代码寻找原因。

修复后重新执行同一流程验证。

这种方式特别适合“代码看起来没问题,但实际界面就是不对”的情况。

2. 测试iOS模拟器流程

如果你正在开发iPhone应用,可以要求Codex操作iOS模拟器,检查首次启动、权限弹窗、表单输入和页面跳转。

打开iOS模拟器中的测试App,从首次启动开始完整走一遍新用户流程。

检查按钮是否被遮挡、键盘弹出后输入框是否可见,以及返回手势是否正常。

不要登录真实Apple ID。

Computer Use可以操作模拟器界面,但代码修改、编译和测试仍应通过Codex正常的项目工具完成。二者结合,才能形成“修改代码—编译—操作界面—验证结果”的闭环。

3. 检查网站关键路径

对于正在开发的本地网页,OpenAI建议优先使用内置浏览器;如果流程依赖本机浏览器配置、扩展、证书或真实窗口行为,再使用Computer Use。

使用Chrome打开测试环境,检查商品加入购物车、修改数量和删除商品三个流程。

停在付款确认页,不要提交订单。

把发现的问题按照严重程度排序。

4. 检查响应式页面

可以让Codex缩放浏览器窗口,观察导航栏、弹窗和表格在不同窗口宽度下是否溢出。不过,精准的自动化断点测试仍应结合浏览器开发工具或测试代码,Computer Use更适合检查真实视觉效果。

5. 修改只能点击完成的软件设置

部分软件没有命令行配置入口,可以让Computer Use按照指定路径修改设置:

打开目标软件的偏好设置,只把自动保存间隔改为5分钟。

不要改动同步、账号和隐私选项。

修改前后各确认一次当前值。

涉及网络、安全、隐私、账户和凭证的设置时,最好本人在场,并要求Codex在最后一步前暂停。

6. 跨应用整理资料

Computer Use能够完成跨多个应用的流程。例如从浏览器查看公开资料,再把结论录入桌面笔记软件。提示词必须规定允许读取和写入的范围,避免误触私人窗口。

如果数据量很大,或者目标应用已经有专用插件,优先使用结构化工具,不要让Computer Use机械地点击几百次。

7. 检查无障碍体验

可以要求Codex检查键盘焦点顺序、按钮文字、弹窗关闭方式和高对比度显示。不过,这只能作为初步测试,不能代替专业无障碍审计和真实用户测试。

8. 对照设计稿检查桌面界面

把设计稿放在项目范围内,让Codex打开实际App,对比间距、颜色、字体和组件状态。提示它只记录差异,得到确认后再修改代码,可以避免一次改动过多。

9. 重复执行回归测试

修复Bug后,让Computer Use按照相同路径再次操作,比只看代码更容易发现回归问题。每次测试应使用相同的测试数据、窗口状态和步骤,并明确通过标准。

10. Windows虚拟机中的长任务

Windows版Computer Use会占用当前活动桌面。如果希望它工作时自己继续使用电脑,可以考虑让ChatGPT桌面端运行在Windows虚拟机中,让Computer Use接管虚拟机,而不是主桌面。

设备需要保持解锁并联网。不要通过关闭屏幕或切换到另一个本地桌面来假设任务仍会正常运行。

六、macOS与Windows体验有什么区别?

macOS在正确授予屏幕录制和辅助功能权限后,可以执行受控的后台任务。官方还提供“Locked use/锁定状态使用”能力,允许在Mac锁屏后继续执行经过信任的Computer Use任务。

这项能力需要在“Settings → Computer Use”中主动开启,并会安装一个参与macOS解锁流程的Apple授权组件。它不是通用远程解锁,也不会允许其他应用随意解锁电脑。系统发现本地键盘或鼠标操作时,会重新锁定Mac并暂停自动解锁。

Windows版则工作在当前活动桌面。执行期间你会看到鼠标移动、窗口切换和文字输入,也不适合同时处理自己的工作。如果任务时间较长,可以使用虚拟机或通过其他设备远程查看进度。

七、这些事情Computer Use不能做

Computer Use并不是无限制控制电脑。根据OpenAI官方说明,它存在以下边界:

- 不能自动操作终端应用;

- 不能自动操作ChatGPT自身;

- 不能代替用户完成管理员身份验证;

- 不能替用户批准系统安全或隐私权限弹窗;

- 不能突破Codex原有的沙箱与审批策略;

- 不能绕过网站、应用或账号本身的访问权限。

它也不应该被用于无人看管的付款、账户安全、密码修改或隐私设置。即使Codex能够点击相关按钮,也应该在关键动作前由用户本人确认。

八、使用Computer Use必须注意的安全问题

Computer Use可以看到目标应用的屏幕内容、窗口、菜单和剪贴板状态。如果浏览器已经登录某个网站,它就可能接触该账号当前可以访问的页面。因此,开始任务前建议关闭无关的聊天、邮箱、网银和密码管理器。

安全使用可以遵循以下原则:

1. 一次只指定一个应用或一条流程;

2. 明确禁止付款、发送消息和删除数据;

3. 敏感任务全程在场;

4. 不要轻易选择“始终允许”;

5. 发现操作错误窗口时立即停止任务;

6. 对网页中的陌生指令保持警惕;

7. 涉及提交、发布、购买和权限变更时要求二次确认。

网页可能包含误导信息,甚至故意诱导AI执行危险操作。不要因为Computer Use“看得懂页面”,就默认网页上的每条指令都可信。

九、常见故障怎么解决?

找不到Computer Use插件

确认自己正在使用ChatGPT桌面端的Work或Codex,而不是手机端、普通Chat或IDE扩展。随后检查账号地区、工作区管理员策略和应用版本。

Mac能看见画面,但不能点击

通常是辅助功能权限没有正确启用。前往macOS“系统设置 → 隐私与安全性 → 辅助功能”,检查“Codex Computer Use”,然后重启桌面应用。

Mac可以点击,但看不清窗口

检查屏幕录制权限。如果使用多个显示器,确保目标窗口没有被其他应用完全遮挡。

Windows任务突然操作错窗口

Windows使用当前活动桌面,用户在执行期间移动鼠标、切换窗口或输入文字,都可能干扰任务。停止操作并重新给出明确目标窗口,必要时从头执行流程。

安装后当前任务仍提示没有工具

插件安装后应新建一个任务,让Codex重新加载技能和工具。只刷新原任务不一定生效。

某个应用每次都询问权限

前往“Settings → Computer Use”检查应用是否已经加入允许列表。除非应用值得长期信任,否则保留每次询问反而更安全。

十、Computer Use值不值得安装?

如果你经常开发桌面软件、测试网页、操作模拟器,或者需要处理没有API的本地应用,Computer Use很值得尝试。它把Codex的工作范围从代码和文件扩展到了真实界面,能够完成过去必须由用户亲自点击的最后一公里。

但它的价值并不是“让AI接管整台电脑”,而是让Codex在明确授权和可控范围内完成一段具体操作。范围越清楚、验证标准越明确,Computer Use的效果越稳定;权限给得越宽、任务描述越含糊,风险也越高。

真正高效的组合是:代码和文件交给Codex,网页开发测试优先使用内置浏览器,结构化数据优先使用专用插件或MCP,只有必须观察和操作图形界面时,再让Computer Use出场。

当Codex不只会“想”和“写”,还能真正看见并操作软件,AI助手才开始从聊天窗口走进完整的电脑工作流。