夜雨聆风学习资料网

ARTICLE · 983127

HF开源电脑智能体:免费版Operator来了

发布时间：2026-09-15 06:39:34 最近访问：2026-09-15 06:40:40
HF开源电脑智能体:免费版Operator来了
2025年5月6日，AI开源社区的标杆Hugging Face悄悄上线了一个让不少人兴奋的工具——Open Computer Agent。
它不是又一个聊天机器人，而是一个能真正操作电脑的AI智能体：你用自然语言说一句话，它就在云端的Linux虚拟机里打开Firefox浏览器、访问网页、点击按钮、填写表单，像真人一样完成任务。
最关键的是——它完全免费、完全开源，被业界视为OpenAI Operator（每月200美元）的开源平替。

一、它是什么：一台住在云端的"AI电脑"

Open Computer Agent托管在Hugging Face Spaces平台上。打开网页，你会看到一个被复古未来主义橙黄色边框包裹的虚拟电脑屏幕——这个设计灵感来自Apple剧集《人生切割术》（Severance），甚至可以通过"Innie/Outie"开关切换边框样式。
屏幕里是一台完整的Linux虚拟机，预装了Firefox浏览器、文件管理器等应用。左侧是任务输入区和示例任务列表，底部状态栏会显示"Agent running..."表示正在工作。
它的技术栈由三部分组成：

  • Qwen2-VL-72B：阿里巴巴开发的视觉语言模型，支持"内置定位"（grounding）能力，能识别屏幕截图中任意元素的像素坐标，精准点击按钮和输入框；

  • smolagents：Hugging Face自研的轻量级智能体框架，核心代码仅约1000行，让大模型通过编写Python代码执行动作；

  • E2B Desktop：安全沙箱环境，所有代码在隔离容器中运行，不影响你的本地系统。

Hugging Face智能体项目负责人Aymeric Roucher在X上演示时举了个有趣的例子：他让Agent查"亚历山大的士兵从马其顿走到印度，走累了不想走的时候一共走了多远"，Agent居然真的一路搜索给出了答案。

二、它和OpenAI Operator差在哪？

OpenAI在2025年1月发布了Operator，能像人一样浏览网页、填写表单、完成购买，但需要ChatGPT Pro订阅——每月200美元。Hugging Face走的是完全相反的路线。

价格与开放性

  • Operator：每月200美元，闭源，执行过程不透明；

  • Open Computer Agent：完全免费，代码开源（Apache 2.0协议），每一步推理和代码执行都完整可见。

技术路线

  • Operator

基于GPT-4o，在复杂推理和验证码识别上表现更强；

  • Open Computer Agent

基于Qwen2-VL-72B，通过smolagents生成Python代码来操作虚拟机。虽然在处理复杂多步骤任务时偶尔出错，但开发者可以自由替换模型、修改逻辑、添加自定义工具。

适用人群

Operator更适合追求开箱即用的普通用户；Open Computer Agent更适合开发者、研究者和AI爱好者——你可以把它当作学习智能体技术的活教材，也可以基于它构建自己的自动化方案。

三、实际能做哪些事？

Open Computer Agent的界面左侧预置了几个示例任务，点击即可体验：

  • "用Google Maps查找Hugging Face在巴黎的总部"

——Agent自动打开Firefox，导航到Google Maps，输入地址并展示路线；

  • "去维基百科查4月4日发生了什么"

——自动打开Wikipedia，搜索日期并整理历史事件；

  • "查从伯尔尼到巴塞尔的火车时间"

——在Google Maps中查询公共交通方案；

  • "去Hugging Face Spaces找到flux.1 schnell，用提示词生成一张图片"

——跨页面导航并操作其他AI工具。

不过需要坦诚地说，它目前还处于实验阶段。据TechCrunch和Gadgets 360的测试反馈：

  • 执行速度较慢，热门时段需要排队等待虚拟机分配；

  • 遇到CAPTCHA验证码时经常卡住，需要人工介入；

  • 复杂任务（如预订航班）容易出错或走弯路——德国媒体THE DECODER测试时，让它查Hugging Face总部地址，它居然先去搜了"3d printing supply store"；

  • 如果Agent卡住了，最简单的办法是刷新页面重启。

Hugging Face团队也明确表示：这不是一个完美的商业产品，而是一个技术演示，目的是展示开源视觉模型在云端驱动智能体工作流已经足够强大且成本低廉。

四、技术原理：AI如何"看见"并操作屏幕

传统AI智能体通过API调用工具——你告诉它"搜索XXX"，它调用搜索接口返回结果。Open Computer Agent走的是另一条路：像人一样看屏幕、点鼠标、敲键盘。

视觉理解层

Qwen2-VL模型接收虚拟机的屏幕截图，通过视觉识别理解当前页面上有什么——搜索框在哪、按钮长什么样、链接文字是什么。它的"内置定位"能力可以输出界面元素的精确坐标，这是实现点击操作的基础。

代码执行层

smolagents框架的核心设计理念是"代码即行动"（Code as Action）。与传统框架输出JSON格式的工具调用不同，CodeAgent直接生成Python代码片段来执行操作：

  • 调用click(x, y)点击指定坐标；

  • 调用type_text("...")输入文字；

  • 调用scroll(direction)滚动页面；

  • 支持循环、条件判断、函数组合等复杂逻辑。

沙箱隔离层

所有生成的代码在E2B提供的安全沙箱中执行，虚拟机与宿主系统完全隔离。虚拟机预装了Linux桌面环境、Firefox浏览器、网络连接和文件系统访问权限，Agent可以在里面自由操作而不会威胁到外部系统。
整个过程遵循经典的"思考→行动→观察"循环：模型分析屏幕→生成代码→执行操作→截图观察结果→继续下一步，直到任务完成。

五、效率对比：Open Computer Agent vs 传统方式

场景
传统方式
工具方式
效率提升
查找地点路线
手动开浏览器→进地图网站→输地址→看路线
一句话指令，Agent自动完成全流程
快3倍
跨站信息检索
逐页打开→手动搜索→复制粘贴整理
自然语言描述需求，Agent自主搜索汇总
快5倍
在线表单填写
逐字段手动输入，重复劳动
提供信息后Agent自动填写全部字段
快4倍
多步骤网页操作
人工在多个页面间切换、点击、等待
Agent串联步骤，全程无需人工干预
快6倍
以上数据基于简单至中等复杂度的任务估算。涉及登录验证、CAPTCHA或高度复杂判断的场景，目前仍需人工协助。

六、动手操作步骤

在哪用

Hugging Face Spaces平台，直接访问：https://huggingface.co/spaces/smolagents/computer-agent
无需注册即可体验（部分时段可能需要登录Hugging Face账号）。

用什么

Open Computer Agent，完全免费开源，无需安装任何软件，一个浏览器即可使用。

怎么做

用浏览器打开上述链接，等待虚拟机分配（高峰期可能需要排队数秒到数分钟）；

在左侧"Enter your task below"输入框中用英文输入任务，例如"Use Google Maps to find the Hugging Face HQ in Paris"；

点击橙色的"Let's go!"按钮，Agent开始在右侧虚拟机中自主操作；

全程观察屏幕：Agent会自动打开Firefox、导航网页、点击元素。遇到验证码时可手动中断协助解决，若Agent卡住则刷新页面重启。

做到什么程度

Agent能在Linux虚拟机中自主打开Firefox浏览器，根据自然语言指令完成网页导航、信息搜索和数据提取，并在屏幕上实时展示完整操作过程。

七、三个方向马上试

🔧方向一：日常信息检索
让Agent帮你完成网页搜索和信息整理。比如"Search for the latest AI news on Google and summarize the top 3 stories"，适合快速获取新闻摘要、天气信息、营业时间等。
🎨方向二：多工具串联体验
尝试让Agent跨页面完成复合任务，比如"Go to Hugging Face Spaces, find an image generation model, and generate an image of a cat"。虽然不一定每次都成功，但能直观感受到AI智能体自主规划和执行的魅力。
📦方向三：基于smolagents自建智能体
如果你是开发者，可以克隆smolagents的GitHub仓库，用几行Python代码构建自己的电脑操作智能体。框架支持替换任意LLM（OpenAI、Anthropic、本地Ollama等）、接入MCP工具服务器、自定义工具函数，打造完全属于你的自动化方案。
三板斧

在线体验：Open Computer Agent - Hugging Face Spaces

开源框架：smolagents - GitHub

官方博客：Introducing smolagents

相关学习资料