夜雨聆风学习资料网

ARTICLE · 1064575

自己搭一个AI助手:nanobot本地起、接本机模型

自己搭一个AI助手:nanobot本地起、接本机模型

你有没有想过要一个"完全属于自己"的 AI 助手?

不是那种打开网页、每月付费、你说的每句话都进它服务器的助手,而是:跑在你自己电脑上、大脑是你本机的模型、记得住你之前聊过什么、还能自己调工具干活——数据一个字节不出门,也不按 token 收你钱。

这事以前得会写一堆代码才搞得定。但最近港大数据智能实验室(HKUDS,之前做过好几个爆款开源项目)开源的 nanobot,把门槛砍到了"装个 Python 包、跑一条命令"。它 star 已经冲到四万七千多,定位就一句话:一个超轻量、自托管的个人 AI 助手框架。 今天讲清楚它能干嘛、怎么起、怎么接你本机的模型。

它是什么:一个"能自己长本事"的助手底座

跟单纯的聊天窗口不同,nanobot 是一个智能体(agent)框架——它不只是陪你聊,而是给你一个能装能力的"底座"。核心内置了这么几块:

  • 长期记忆:它记得住跨会话的上下文、你的偏好、正在推进的目标,不是聊完就忘;
  • 工具 + MCP:能挂各种工具(搜索、代码、你自己的脚本),也支持 MCP 协议接外部能力——前面讲过的 Chrome DevTools MCP 那类,理论上都能挂上来;
  • 多智能体协作:复杂任务能拆给多个"分身"分工干;
  • 定时自动化:能设定时任务,让它到点自己跑一件事;
  • 一个 OpenAI 兼容的 API:意味着你别的程序可以像调 OpenAI 一样来调它。

更妙的是它不止能在网页里用:官方支持把它接到飞书、Telegram、Slack、Discord、Teams、邮件等一堆渠道。也就是说,你可以让它变成飞书群里的一个机器人、或者一个能收发邮件的助手——但底层大脑始终是你自己那台机器上的模型。

一句话:它是把"记忆 + 工具 + 多渠道 + 自动化"这些零件预先装好的一个私有 AI 助手底座,你只管接上模型、告诉它干嘛。

怎么起:装包、一条命令、开网页

nanobot 的 PyPI 包名是 **nanobot-ai**,安装方式挑一个你顺手的就行(推荐用隔离环境装,别污染系统 Python):

pipx install nanobot-ai      # 推荐,自动装在隔离环境里# 或者uv tool install nanobot-ai   # 用 uv 的话# 或者自己建 venv 再 pip install nanobot-ai

装好之后,一条命令把它拉起来:

nanobot webui

它会自动创建配置和工作区,然后打开 http://127.0.0.1:8765 的网页界面。这里有个对"自托管"很重要的细节:首次启动的 WebUI 默认只绑定在 localhost(本机),不会暴露到你的局域网——安全默认值给得很到位,不用担心一起手就被同网段的人连上。

进去之后先干一件事:在 Settings → Models 里配一个模型提供方。想全程本地、0 API 费,就把它指到你本机的 Ollama。

接本机模型:指向 Ollama 的兼容端点

nanobot 明确支持"本地 LLM 和 OpenAI 兼容 API"。而 Ollama 本身就对外提供一个 OpenAI 兼容端点,地址是:

http://localhost:11434/v1

所以接法很直白:在 nanobot 的 Settings → Models 里,把 provider 选成 OpenAI 兼容类型,base URL 填上面这个地址,API key 随便填一个占位(本机 Ollama 不校验),模型名填你 ollama list 里已经拉好的那个(比如 8G 卡能跑的小模型、或者大卡上的 gpt-oss:20b)。配好发一句 "Hello!" 通了,就说明整条链打通了——从此这个助手的每一次思考都在你本机完成,不联网、不烧钱。

想让它长期在后台常驻(关掉网页也继续跑定时任务、继续接飞书消息),nanobot 有一个"后台常驻"模式可以切。建议**先用 nanobot webui 把模型配好、聊通了,再切后台**,顺序别反。

普通电脑扛得住吗

好消息:nanobot 框架本身极轻(就是个 Python 程序),真正吃显存的是你接给它的那个模型。所以它的硬件门槛≈你跑那个模型的门槛——

  • 8G 显存:接一个 8B 上下的小模型当大脑,日常问答、简单工具调用没问题;
  • 纯 CPU / 核显:也能跑,接个更小的模型,慢一点但能用;
  • 24G 大卡:接 gpt-oss:20b 这种,多步骤任务和工具调用会稳不少。

框架不额外压你的机器,这点对普通电脑很友好。

诚实说:这几点别抱错期待

  • 助手聪不聪明,取决于你接的模型。 nanobot 只是底座,真正干活的是背后的模型。本地小模型跑多步骤 agent、频繁调工具时容易翻车——该调工具时不调、绕圈子、记不住指令,这是本地小模型的通病(前面讲 AI 自己调浏览器那篇也提过同样的短板)。想让它稳,优先选专门练过工具调用的模型、把上下文窗口开大。
  • 多渠道接入不是零配置。 接飞书 / Telegram 这些,得各自去对应平台申请机器人、配 token,nanobot 负责打通,但平台那头的配置活省不掉。
  • 后台常驻要看好端口。 切后台常驻后它会一直跑;别为了远程用就手贱把 8765 端口直接暴露到公网,要远程走内网穿透 / 私有组网(之前讲局域网那篇提过的思路),别裸奔。
  • 项目还年轻、迭代快。 命令、配置项在不同版本间会变,跟着官方 docs 走,别照老教程硬套。

谁适合,怎么上手

  • 想要一个私有 AI 助手、又在意数据的:数据全在本机、大脑是本机模型,这是市面上"付费云助手"给不了的;
  • 爱折腾、想给助手加能力的:记忆、工具、MCP、多智能体、定时任务都预置好了,你在这个底座上搭,比从零写省太多;
  • 想把 AI 塞进团队日常沟通的:接进飞书 / Slack 群当机器人,但后端模型和数据仍留在你自己机器上。

上手路径:pipx install nanobot-ai → nanobot webui 打开 8765 网页 → Settings → Models 里把 base URL 指到本机 Ollama 的 http://localhost:11434/v1、模型填你 ollama list 里有的 → 发句 Hello 验证通了 → 再慢慢加工具、接渠道、切后台常驻。先把"本机模型 + 助手"这条最小闭环跑通,其余功能玩顺了再加。

#nanobot #AI助手 #自托管 #本地部署 #普通电脑跑AI

相关学习资料