旧手机别扔了,装这个App,让它7x24小时给你跑大模型

抽屉里那几部旧手机，卖二手不够一顿外卖，留着又不知道怎么用。我之前也折腾过，装监控、当下载机、挂网盘，搞完一圈，最后还是乖乖回抽屉吃灰。

前几天在GitHub瞎翻，看到一个叫OlliteRT的项目，读完觉得有点意思——这帮旧手机，好像还真能派上新用场。

简单说，这App能把安卓手机变成一台本地大模型服务器。

在你自己家局域网里，开一个和OpenAI一模一样的API接口。电脑、NAS、智能家居系统，只要能填API地址，就能连上手机里跑的那个模型。

不碰云服务，不要什么API Key，数据不用出你家门。

OlliteRT这名字听着陌生，你把它理解成安卓版的Ollama就行。用过Ollama的都懂，电脑上一行命令就把模型跑起来了。OlliteRT干的是同一件事，只不过跑的地方换成了你的旧手机。

它底层用的是谷歌的LiteRT-LM运行时，这玩意前身是谷歌官方的AI Edge Gallery演示应用。作者NightMean在基础上改吧改吧，做成了一个正经的服务器应用。Apache 2.0协议开源，Kotlin写的，上线时间不长，但该有的功能基本都齐了。

用起来也不费劲。

装好APK，挑个模型下载，点一下Start Server，手机就开始监听8000端口了。状态页会显示API地址，类似http://192.168.1.176:8000/v1这样。复制它，填到任何支持OpenAI接口的客户端里，就接上了。

App里内置了模型列表，点一下就能下，也支持自己导.litertlm格式的模型文件。想加自己的模型源也行，给个JSON文件或者链接就成。

官方推荐的是Gemma 4 E2B，2.4GB大小，8GB内存的手机就能跑。文字、图片、语音输入都支持，还有思考模式。想跑小一点的，也有Qwen 2.5 1.5B和DeepSeek-R1 1.5B可以选。

拿不准手机跑不跑得动？先用自带的Benchmark跑个分，心里有数了再下，省得下完发现带不动。

Gemma 4系列还能看图、听语音，工具调用也做了，不过目前还是实验性质，时灵时不灵，别抱太大期望。

配置给得挺细。

每个模型可以单独调温度、最大输出长度，可以选GPU还是CPU跑，闲下来多久自动卸载模型也能设。

安全方面也不糊弄，监听范围、客户端IP白名单、Bearer token验证都有。丢在局域网里用，够使了。

我平时折腾这类自托管服务，最怕的就是它跑成黑盒，出了问题两眼一抹黑。OlliteRT这点做得不错，状态页上运行时长、请求数、tokens吞吐、解码速度、成功率全是实时刷新的。官方截图里Gemma 4 E2B的解码速度跑到了29.9 tokens/s，模型加载只要4秒。

玩Grafana的还能把它的Prometheus指标接进监控大盘，一共29个。家里用Home Assistant的话，它也留了REST API，可以远程查看状态、控制模型加载。

日志也全，每个请求的请求体和响应体都记下来，支持搜索、过滤、JSON高亮。哪个客户端发了什么、模型回了什么，翻一遍日志就清清楚楚。

兼容性做得挺到位。

标准OpenAI兼容接口，Open WebUI、Home Assistant、Python脚本、curl，能填OpenAI地址的地方基本都能接上。它还顺手兼容了Anthropic的Messages接口——做这类小工具的项目里，愿意把两套接口都兼容的不多。

App目前内置了七款模型，官方建议普通手机选Gemma 4 E2B，旗舰机可以上E4B。上下文窗口这块，Gemma 4系列给到了32K，Gemma 3n和几款小模型只有4K。日常聊天够用，要是想塞长文档进去就有点吃力了。

当然这列表不是死的，前面说了，可以自己导入模型文件，也能加自定义模型源。

上手没什么门槛，真正花时间的只有等模型下载。

手机要求安卓12以上、arm64架构，2017年以后的机器基本都满足。内存至少6GB，想跑多模态建议8GB往上。

我自己拿Open WebUI试的，在Settings→Connections里加一条OpenAI连接，填上地址，刷新一下模型就出来了。有个小坑：Open WebUI默认不开工具调用，把Function Calling改成Native之后才正常。

接Home Assistant稍微多一步，要通过HACS装个自定义集成，作者测试下来最省心的是Custom Conversation，填的还是那三样东西。接好之后除了对话，还能拿它做语音转文字。

Claude Code也能直连手机，设两个环境变量指过去就行。不过作者自己在文档里提醒了——手机上的模型上下文窗口小，跑不动它那套重型工具调用，当兼容性测试玩玩就得了，别指望真拿它干活。

一部吃灰的旧手机，装个App，点几下，就成了你家专属的本地AI服务器。不花钱、不出门、数据不泄露，还能7x24小时跑着。

这事，我觉得挺值的折腾一把。