夜雨聆风把会自学的 AI Agent 塞进几十元的 ESP32-S3：XiaoClaw 本地大脑配置指南
语音唤醒 + 本地大模型推理 + 工具调用 + 技能自动温习，全跑在一颗 ESP32-S3 上，固件 MIT 开源
AI 生成概念图，非实物：一个能听会说、长着机械爪的桌面 AI 助手形象（本文标注）
早上喊一句“今天几点开会”，它自己查日历、联网搜索、把行程念给你听——而你掏的钱，只是几十到两百多的一块开发板。
去年我们聊过几款 ESP32 语音助手，多半是“语音进、话术出”的问答盒子。这次这个叫 XiaoClaw 的开源固件不太一样：它在 ESP32-S3 上跑了一个真正的 ReAct Agent 循环——能调用工具、管理长期记忆、自己安排定时任务，甚至会在你反复让它干同一件事之后，把流程“温习”成一个可以复用的技能。根据项目 README 与官方文档核对，它确实做了这些事；我本人没有实测，下文均按官方材料拆解。
先看它会什么
官方已实现一句话：一个会听、会想、会调用外部工具、还能自己学新技能的开源 AI 语音助手，固件全部开源。
01 离线唤醒词 + 语音对话：基于 ESP-SR 的本地唤醒，ASR/TTS 走服务器，支持中文/英文/日文，还能在 OLED/LCD 上显示表情。
02 Agent 大脑：在板端跑 ReAct 循环，能调用联网搜索、日期时间、读写文件、执行 Lua 脚本等工具，还能连远程 MCP 服务器动态调用更多工具。
03 自我学习 + 记忆分层：任务成功且至少调用 2 次工具时，自动把流程“结晶”成可复用技能；记忆分 L0–L4 五层，长期记忆存进 SPIFFS，重启后还记得你是谁。
04 自主任务：内置 cron 定时调度器，能按你设定的时刻自己干活，比如每天早上自动播天气。
05 崩溃后可检查点恢复；会话超长自动压缩归档。以上均为官方文档列出的能力，详见文末来源。
读图结论：Logo 直接用 ESP32-S3 芯片 + 机械爪 + 音波元素，点明“能听、能动、能思考”的产品定位（来源：官方仓库 assets）。
一分钟判断
复现难度 ★★★☆☆（要装 ESP-IDF、会改 menuconfig 填密钥）；首次跑通 约 30–60 分钟（会编译烧录）；完整装配 用现成开发板半天；预算口径 固件免费，硬件按板型 100–300 元区间（2026-08 电商估算，见后）；必需条件 一块支持的 ESP32-S3 开发板 + WiFi + 一个大模型 API Key；适合人群 想在自己设备上跑真 Agent、而不是云端话务盒子的人。
它为什么值得玩
多数“智能音箱”背后只是你问一句、云端把答案读回来。XiaoClaw 的价值在于：把“思考、选工具、做事、记经验”这整条链子放在了你自己手里。数据、记忆、任务都留在你的设备上，折腾的自由度极高——用哪家模型、开哪些工具、让 Agent 几点干活，全是你的。按官方文档，它还支持通过 MCP 协议动态接入远程工具，等于一个能“长出手脚”的开源底座。
它是怎么工作的
拆成输入—处理—输出三条链路：
输入 麦克风拾音 → 离线唤醒词（ESP-SR）→ 流式 ASR 转成文本；
处理 文本进入板端 Agent 大脑（mimiclaw）：大模型按 ReAct 循环推理，按需调用工具（联网搜索、查时间、读写文件、执行 Lua、连 MCP 服务器、Cron 定时）→ 生成答复文本；
输出 答复文本经 TTS 合成 → 扬声器播放，同时可驱动屏幕表情；任务 + 记忆写入 SPIFFS，长期留存。
“自我学习”是它的招牌：当一次多步任务成功完成、且至少用了 2 个工具时，系统自动把这段流程生成一个 SKILL.md 存进 /fatfs/skills/auto/，下次直接复用，并把使用次数、成功率记进技能索引——这是官方文档明确的逻辑。
读图结论：官方文档架构图展示了 MCP 作为“统一接口”——同一个 LLM 大脑既能指挥 ESP32 驱动扬声器/舵机/GPIO，也能调用云端搜索、邮件、Home Assistant 等工具（来源：官方 docs/mcp-based-graph.jpg）。
需要的硬件与预算
这是一份固件，不是套件：你自备一块受支持的 ESP32-S3 开发板即可。核心要求是 32MB Flash + 8MB PSRAM（官方标注最低 16MB Flash），并带麦克风/扬声器（或外接音频编解码）。官方列出 70+ 兼容板型，常见的有：
• 乐鑫 ESP32-S3-BOX3（官方经典款，约 150–250 元，2026-08 电商估算，需复核）
• M5Stack CoreS3 / AtomS3R（约 200–400 元区间，电商估算）
• LILYGO T-Circle-S3（带 0.75 英寸小屏 + 麦克风，约百元上下，电商估算）
• 立创实战派 ESP32-S3 开发板、以及小智生态下的各类板型
模型侧：固件支持 Anthropic、OpenAI 兼容接口，README 示例里连的是通义灵码的 DashScope 地址。API 按量计费、额度多变，属时效性信息，作者不建议把任何密钥提交进公开仓库。
读图结论：官方文档中的 ESP32-S3-BOX3 兼容板实物图，该板自带麦克风/扬声器/屏幕，是文档列出的首选板型（来源：官方 docs）。
最短复现路线（3 步）
第 1 步｜备板 + 装环境 准备一块受支持的 ESP32-S3 板；安装 ESP-IDF v5.5+、Python 3.10+、CMake 3.16+。成功标志：idf.py --version 能正常输出版本。卡住先看：编译器路径与 git 是否在 PATH。
第 2 步｜克隆 + 填密钥git clone 仓库，idf.py set-target esp32s3 再 idf.py menuconfig，在“Xiaozhi Assistant → Secret Configuration”填 WiFi 名/密码、模型提供商（anthropic 或 openai）、模型名、API Key，可选填 Brave/Tavily 搜索密钥与远程 MCP 地址。成功标志：idf.py build 编译通过、无报错。卡住先看：板型目录名是否与 main/boards/ 里的一致；Flash/PSRAM 容量是否达标。
第 3 步｜烧录体验idf.py -p 端口 flash monitor 烧录并看串口日志。成功标志：串口出现“唤醒词就绪”，喊唤醒词后能对话；再让它做一件多步任务（如“查今天的天气，再告诉我”），观察日志里是否出现工具调用，并在 /fatfs/skills/auto/ 里看到自动生成的技能文件。卡住先看：串口没反应先查驱动与端口；API 报错先核对密钥与模型名拼写。
拿到串口日志、能看到工具调用与技能文件，就算第一次跑通了。
新手排错
现象：编译失败 先判断：是工具链版本还是代码问题。正确做法：核对 ESP-IDF 版本 ≥5.5、按板型选对 boards 目录；对照官方构建步骤一条条来。不要：盲目升级/降级整个工具链。
现象：能烧录但唤醒词不响 先判断：麦克风/扬声器硬件与引脚配置对不对。正确做法：回到所购板型的 README 核对 I2S/编解码器引脚；必要时按官方“自定义开发板指南”建自己的 board 配置。不要：直接覆盖别的板型配置，否则 OTA 升级可能被标准固件顶替。
现象：能对话但“不做事” 先判断：模型是否支持工具调用、密钥有没有额度、工具是否启用。正确做法：在日志确认模型回包、检查 Kconfig 是否开启 MCP 客户端、核对搜索 Key。不要：以为是板子坏了反复重启。
魔改方向（魔改设想：可行但未内置）
入门 换自己喜欢的模型与提示词：选 openai 兼容接口把模型名改成任何一个 GPT/通义/DeepSeek 接口，定制角色人设。
进阶 给它“长手脚”：通过 MCP 客户端接一台机械臂/舵机板的 MCP Server（官方文档含 Python MCP Server 示例），让 Agent 说完话能真的动起来。
高阶 建自有技能体系 + 定时自动化：写自己的 SKILL.md 挂在 /fatfs/skills/，配合 cron 让 Agent 每天自动巡检、汇报、归档到飞书/Telegram（文档含相关机器人任务表）。
边界与安全
• 这是固件工程，不是点开即用的 App：需要自己编译、填密钥，门槛比成品音箱高。
• “会自学”是设定内的技能结晶，不是广义的通用智能；能力上限由你接的模型与工具决定，别神化。
• API Key 是红线：密钥会写进固件配置，严禁提交进公开仓库；长记忆含个人数据，注意隐私与串口日志泄露。
• 模型会给出错误指令的风险仍然存在；涉及真实执行（开关设备、联网）建议先用受限工具、加安全校验。
• 开发者仍标着“Claude Code 构建”徽章，属工具沉淀说明，不影响开源事实。
• 许可证：仓库 MIT（有 LICENSE 文件）；其依赖 xiaozhi-esp32 / mimiclaw 的许可各归其主，组装沿用需自行核对。
官方来源
仓库：https://github.com/beancookie/xiaoclaw（40★，MIT，创建 2026 年，2026-05 最后更新，本文核对）
官方网站：https://beancookie.github.io/xiaoclaw/
文档：仓库 docs/ 下含 agent-architecture、skills-architecture、memory-architecture、mcp-protocol、custom-board 等 18 份
上游：xiaozhi-esp32（语音框架）+ mimiclaw（ESP32 Agent，均为独立开源项目）
演示参考：B 站“锋芒AI”演示 MimiClaw（3146 播放）、“硬禾学堂”演示4（654 播放），属社区演示待进一步核实
下一期你更想看：把它接上机械臂做“能动的 Agent”（选 A），还是先做一份“本地大模型 + 记忆”的进阶教程（选 B）？评论区告诉我。