安卓系统的Ollama

安卓跑本地大模型一直挺折腾。以前要么用 Termux 敲一堆命令行，要么下个聊天 App 自己玩。现在有个叫 OlliteRT 的开源软件，直接把手机变成了一台本地 AI 服务器。

它基于 Google 的 LiteRT 运行时，能跑 Qwen 等模型。最绝的是，它会对外提供一个 OpenAI 兼容接口。这意味着 n8n、Home Assistant 这些外部工具，改一下地址就能直接连上你的手机调用。

用法也简单：装好 App 拉个小模型，把监听地址改成局域网 IP。同网段的电脑或平板就能直接访问。不过要注意，一旦放开监听，别人也能连进来，千万别随便暴露到公网。

当然，手机算力有限，只能跑 1B 到 4B 的小参数模型。长时间跑还会发热掉电。但如果你手里有台吃灰的旧安卓机，又看重数据隐私，这玩意儿绝对值得一试。