夜雨聆风学习资料网

ARTICLE · 1315681

你的 AI 助手,正从屏幕上走下来

你的 AI 助手,正从屏幕上走下来

你的 AI 助手,正从屏幕上走下来 

Pi 要执行一条 rm -rf 之前,它先停了下来。屏幕上弹出一个卡通小人,问你一句,允许执行吗。这不是网页上的弹窗。问你的是一个摆在桌上的小机器,你得按它身上的实体键,才放行。

按到一半松开,算拒绝。

这是过去一个月里发生的事。你的 AI 助手,正在从聊天框里走出来。

◆ 一个月里,Agent 集体长出了身体

对桌面机器人说话,后台 Agent 去查任务、搜网页 · witcheer

10 月 2 日,Meta 开源了 Muse Gadgets。一块 ESP32-S3 刷上官方固件,就变成 Muse 的按键对讲设备,按住说话,问题直接发给 Muse。

10 月 4 日前后,社区做出 Hermes Gadget SDK。同样是按住说话,但这一次,对面是你自己部署的 Hermes Agent。大模型随便换,它还会记住你、攒技能。

同一周,冒出一批让 ESP32 替 AI 操作手机的项目。esp32-iphone-agent 用一块开发板当眼睛和手,通过屏幕镜像和蓝牙,替 Agent 点一台没越狱的 iPhone。

再往后,pi-buddy 给 Pi 这个编码 Agent 装了个桌面审批小助手,Vibe Watch 做成一块戴在手腕上的审批器,同时管好几个编码 Agent。

它们的共同点是这个。

Vibe Watch 腕上 AI 编码审批器,六个 Agent 状态一眼看到 · GOROman

芯片只负责听、说、按。想这件事,还是云端在想。

◆ 为什么是现在

先说 Agent 自己的变化。

早两年的 Agent 主要是陪你聊天,替你搜资料。今年它开始替你干活了,尤其是写代码的 Agent。它会执行命令,其中一些是危险命令,删文件、改系统、强推分支。这类命令按规矩要人在环审批,人同意了才继续。

在软件里,这个审批是一个弹窗。可你真的会一直盯着屏幕吗。你在接水,在开会,在另一台机器前调东西。你离开屏幕,审批就断了,Agent 卡在那儿等你。

所以审批通道要能跟着人走。手腕上震一下,按一个物理键,就是 Vibe Watch 的答案。桌面上一个卡通小人开口问,按一下实体键,就是 pi-buddy 的答案。

这个逻辑放到更大的范围也成立。大模型决定怎么想,但有一件事它做不到。在正确的时刻感知,在正确的时刻动作,这件事必须在物理世界里本地完成。你说一句话,得有一块板子真的把麦克风打开、把喇叭响起来,Agent 才接得住。这就是身体的意义。

所以身体的价值,不在往里面塞多大的模型。它要当的是一块可靠的传感器和执行器。

◆ 身体分几层

小智的 MCP 接入图,固件通过 MCP 控制外设和工具 · 78/xiaozhi-esp32

现在这些 AI 硬件,智能放在哪,大致有三种做法。

第一种最成熟,纯云端,芯片是五官和手脚。小智 AI 就是这么干的,板子只负责拾音、播放、屏幕和网络传输,所有理解都在云端大模型。这也是目前最多人玩的一种。

第二种是端侧小模型,多芯片组网。单块 ESP32 放不下一个小模型,就把它拆开,分到几块板子上,靠蓝牙协调着一起跑。这是边缘 LLM 的极端玩法。

第三种是端侧视觉推理。摄像头板在设备本地跑视觉,把检测结果转成动作。关键在防抖和置信度阈值,不能检测到一次就误触发。

三种做法对应同一个判断。边缘设备不负责堆算力,它要当的是 Agent 可靠的耳朵、嘴巴和手。一个会死机、会漏唤醒的身体,脑子再聪明也带不动。

◆ 照着买,不踩坑

想给 Agent 装身体,先看你在用哪个 Agent,再照着项目买板子。下面是几个热门的。

小智 AI,32,644 星,MIT。目前最火的开源 ESP32 AI 语音方案,是这个生态里最大的一块底座,很多成品小机器人刷的都是它。支持几十块开发板,现成固件一键烧录,配网填密钥就能对话,全程不用写代码。最常用的参考板是立创实战派 ESP32-S3,一套约 138 元,带屏、带麦克风、带喇叭。

立创实战派 ESP32-S3,小智最常用的参考板 · 78/xiaozhi-esp32

Muse Gadgets,2,598 星,Meta 官方,Apache-2.0。门槛最低。你有 Muse,把官方固件刷进 ESP32-S3,后台拿一个 token,就能和手机上的 Muse App 配对。

Hermes Gadget SDK,471 星,MIT。适合自己部署了 Hermes 的人。按住说话,设备直接用语音回答,还能在设备上回答确认问题、接收卡片。它自带桌面模拟器,没有板子也能先试。前提是你已经有一个跑着的 Hermes,语音识别和合成也配好了。

Vibe Watch,150 星,MIT。戴在手腕上,并行管理多个编码 Agent。每个 Agent 等你审批时,手腕一震,按一下物理键就放行或否决。它把审批从屏幕里解放出来了。

Stack-chan,约 1,766 星,Apache-2.0。日本开发者开源的桌面陪伴机器人,大圆眼屏加双舵机,会转头盯着你看。接上麦克风和喇叭,也能接 AI 对话。

Stack-chan 桌面陪伴机器人,会转头盯着你看 · stack-chan

◆ 一个细节,看身体怎么做安全

pi-buddy 的审批逻辑值得单独停一下。它给 Pi 列了一张危险命令清单,rm -rf、sudo、git push --force、npm publish、把 curl 的结果直接交给 sh 执行,这些都会被拦下来请示。像 ls 这种普通命令不打扰你。

批准有三种方式。点屏幕,按 BOOT 键,或者说一声允许执行。120 秒不回答,算拒绝。

它有个按键设计改过一次。一开始是点按允许、长按拒绝,后来反过来了。因为长按到一半手松了,如果算允许,危险命令就放过去了。现在按到一半松手算拒绝,宁可多拒一次。

这个小改动说明一件事。身体不只是把命令传过去,它本身就是安全边界。边界画在哪,要看哪种失误的代价更大。

◆ 从哪儿开始

ESP32 开发板常见长这样,芯片、天线、一排排引脚 · noknook

没有板子也能先玩。

Wokwi 是老牌浏览器仿真器,在网页里模拟 ESP32,电位器、舵机、超声波都能挂,不用买硬件。Hermes Gadget SDK 自带桌面模拟器,py-xiaozhi 可以在电脑上跑一个小智客户端。这几个入口都能让你在花钱之前先搞清楚流程。

真想动手,从一个小智开始。

面包板接线示意,把 LED 和电阻接到虚拟面包板上 · 78/xiaozhi-esp32

买一块立创实战派 ESP32-S3,大约 138 元,现成固件一键烧录,配网填密钥就能对话。等你想自己写代码了,再考虑 XIAO ESP32S3 Sense,指甲盖大小,带摄像头和数字麦克风,约一百多块。

◆ 你能带走三样东西

第一,你的 Agent 正在从聊天框里出来。一块二三十块的板子,就能当它的耳朵、嘴巴和手。

第二,身体要当的是一块可靠的传感器和执行器。人在环的审批,也因此有了物理通道。

第三,想体验,不买板也行。浏览器仿真、官方固件一键烧录,先把流程摸顺,再决定买不买。

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料