手机直连本地AI助手,我退了每月20刀的云端服务
周末在家折腾Ollama,顺手搭了个能直接用手机远程控制的本地AI助手,关键数据完全不走云端,手机和电脑直连,连端口都不用暴露。
- 核心是WebRTC P2P直连,手机和电脑之间数据直接传输,没有中继服务器
- 底层用Ollama跑本地大模型,结合ChromaDB做本地文档的RAG检索
- 支持简单的“技能”和定时任务,还有基础的运行状态监控界面
这玩意到底怎么跑起来的
说白了,就是把你电脑变成一个AI服务器,但访问方式很特别。不是传统的HTTP服务器暴露个端口让你去连,而是用WebRTC技术建立点对点连接。
你想啊,平时视频通话就是WebRTC,数据直接在两台设备间流。这项目把同样的技术用在了AI请求上。你手机打开网页,和电脑上的服务建立P2P通道,然后把提示词发过去,电脑用Ollama跑完结果,再通过这个通道把答案传回手机。
整个过程数据不出你的局域网,甚至如果做了内网穿透,理论上在外面也能安全访问,因为连接是端到端加密的,中间没有服务器能看到你的对话内容。
除了聊天还能干啥
作者给它加了几个挺实用的功能。一个是基于ChromaDB的本地文档检索增强,你可以把自己的一些文档、笔记喂给它,然后问相关问题,它会在本地向量库里搜。
另一个是“技能”系统,其实就是一些预定义的提示词模板,加上定时任务功能。比如你可以设置每天早上9点,让它自动总结你昨天的工作日志,或者定时检查某个本地文件的变化。
界面上还能看到实时的请求追踪,就是所谓的“live traces”,方便你debug,看请求到底卡在哪个环节了。

部署方式:目前有自动化脚本和Docker方案,也支持手动安装。作者说自动化部署已经能用了,但如果你喜欢自己掌控细节,也可以走手动路线。
怎么拿到手自己玩
项目完全开源,代码都在GitHub上。作者在Reddit里也说了,就是想看看有没有人在搞类似的东西,特别是远程访问和多设备使用这块。
讲真,这种纯本地+远程控制的思路,对于不想把数据送出去,但又想随时随地用自己AI的人来说,吸引力不小。
项目地址:https://github.com/nekonihq/nekoni
留言聊聊
你会为了数据完全本地化,而放弃一些云端AI的便利性吗?你现在的主力AI工具是本地部署的还是云端的?
来源:Reddit Ollama|原文:Built a local AI agent on top of Ollama that I can
夜雨聆风