夜雨聆风学习资料网

ARTICLE · 1206082

Codex App 最牛的功能,被这个开源项目“偷”出来了!Claude Code 也能用了!

Codex App 最牛的功能,被这个开源项目“偷”出来了!Claude Code 也能用了!
Codex app 有个神器,叫做 computer use ,agent 可以用它操作你的电脑,效果非常之好!

你说,为什么要它来帮你操作电脑呢 ?

它可以解决一个非常重要的问题,就是让 agent 自己做好验证这个环节。

不管在编程场景,还是通用任务场景,你交代给了 agent 一件事,它吭哧吭哧的做完了,那它有没有做好呢?还需要验证,之前大部分时候是人得参与进来验收它的结果,发现不对,又发给它继续优化,人就变为整个环节的瓶颈了。

如果 agent 自己可以闭环验证呢?

这样就完全不需要你中间插进来了,它可以自己闭环完成所有的工序,开发、测试、验证,结果不对,agent 自己继续开发直到通过,最后交付给你的是一个经过测试验证的产物。

这个效率提升是巨大的,因为这是全自动化的必经之路,也就是现在热门的 AI native 思路。

简单讲,就是得将人完全从 agent 工作流中抽离出去。

而今天要介绍的 computer use 就是做这个 agent 手脚的,在 codex app 中利用这个功能,就可以让 agent 自己去做验证了,如操作电脑,做截图、点击,录视频,录 gif 等等,搭配 gpt 6.1 sol 或者 gpt 6 astra 模型,效果非常炸裂!

gpt 6 astra 模型发布时,这个模型的 computer use 能力就是它的一个核心卖点 !

我现在自己开发的小项目,只要带了 ui 功能的,agent 完成之后,都必须得让它通过 computer use 功能来验证好,同时提供优化前后的视觉对比证据给我,我要做的就是 review 即可。

如下图 PR 就是一个例子:

这个功能相当好用,不过对我来说,它依旧有两个痛点:

首先,computer use 这个功能目前是被捆绑在 codex app 里面,连 codex cli 都无法使用的。我希望它是独立的功能,不捆绑在codex app 中,任何 agent (claude code, cursor , codex cli) 都可以用。

其次,我平常使用的是 codex cli 环境,但为了用 computer use ,不得不用 codex app,但 codex app 内存占用太大了,而且经常升级负优化,windows 上卡顿是常态。

那如何解决这个痛点呢?

直到我发现了这个开源项目,一切都解决了,它就是  lcu (local computer use)。

github 地址如下:

https://github.com/amontlabs/lcu

这个项目将 codex app 中私有的 computer use 功能解耦出来,提供独立的运行环境,它不是自己做一套,而是完全复用 codex app 安装包的那个底层能力,更轻量!

所以,依赖环境就是,你本机要先安装 codex app,不用登入,不用注册,仅安装好即可。

这个项目会将这个能力封装为 mcp 这个通用的协议,这样所有 agent harness 环境利用这个 mcp 就都可以用了,如 codex cli, claude code ,cursor 等。

开头那个图片就是我 windows 系统上,在 codex cli 中利用 lcu 完成的 PR 截图对比操作。

MacOS 和 linux 作者都有正式支持,但 windows 系统还没正式发布支持,现在还是候选阶段。

windows 用户现在想用它,就必须得由源码去构建出来,不过也很简单,启动你的 agent,把上面 github 地址扔给我,然后让它帮你构建好即可。

安装好后,它就是一个 mcp ,如下图就是在 claude code 配置好了这个 mcp。

然后就可以正常通过 mcp 方式,在其他 agent harness 中调用它,比如我在 claude code 中,让它通过这个 mcp 查询下 cc-switch 中的 token 用量。

它就会通过它操作电脑,打开软件观察,操作找到结果,返回给你。

还有一点要注意的是,windows 上因为系统原因,这个过程是独占电脑的,所以会和你抢鼠标焦点,MacOS 是后台运行的,这点要注意下。windows 最好在人离开的时候用它。
好了,今天分享就到这里,如果你也想在任意 agent 环境都可以用上 codex app 中的 computer use ,不妨试试这个,希望这篇文章对你有帮助!我们下期再见!
如果觉得有价值,请关注,点赞,转发吧!
相关阅读:
GitHub README 看图太难用了,我写了个小工具彻底解决
AI Skill 越装越多,我终于受不了了:一个简单办法,全部统一!
show-me skill:把复杂问题画明白!
END

相关学习资料