年费 200 的 AI 工具,我换成了免费本地版:断网能用,文件不出电脑

文 / AI变电站

有些文件，你本来就不该往任何网页上贴。

客户合同、还没公布的产品路线、内部的财务报表。复制粘贴的那一瞬间，你心里其实会咯噔一下。

但用 AI 处理这些文本，确实是最省时间的做法。

这两件事不冲突。办法是把模型放到自己电脑上跑。

一、什么时候该换成本地

三个判断条件，中两个就该换。

第一，文件本身涉密。 合同、报价、未公开的资料。这类东西不该离开你的设备。

第二，公司不允许用外部工具。 那就别绕，直接走本地。

第三，用量大，年费心疼。 一年两百多块不算多，但如果你只是拿它做总结和改写，本地版其实够用。

反过来说，如果你的活主要是联网查资料、读最新信息，本地版帮不上，别折腾。

还有一个很朴素的理由。出差路上、飞机上、公司网络断掉的时候，本地版照常能用。这个便利平时感觉不到，急的时候很管用。

补一句。本地版和云端版不是二选一。不涉密的活继续用云端，遇到敏感文件切到本地。我自己就是这么分工的。

二、三条路线，按动手难度排

最省事：桌面应用。

LM Studio 是免费桌面程序，Windows、macOS、Linux 都有。打开就是图形界面，模型在应用里搜、下载、点开就能聊。文档直接拖进对话框，不用配置任何东西。

适合：不想碰命令行，只想马上用起来的人。

最灵活：命令行加本地接口。

Ollama 是开源工具，MIT 许可。本地使用免费且不限量，装完会开一个本地接口。这个接口才是它真正的价值。你能把模型接进自己的脚本、文档阅读器、内部工具，全部离线。

适合：愿意写两行命令、想把 AI 接进自己流程的人。

最像「知识库」：自带文档库的应用。

AnythingLLM 支持十多种文件格式，包括 PDF、DOCX、TXT、EPUB，还能直接吃网页和音频记录。它最舒服的地方是引用出处清楚，回答时会标出是哪一段来的。

Jan 是另一个选择，Apache 2.0 许可，零遥测，启动时会问你要不要共享匿名使用数据。想彻底不联网的，选它。

适合：要把一堆资料变成一个能反复查的库。

模型本身怎么挑。 日常对话和文本整理，70 亿参数级别基本够用。要处理中文长文本，优先挑中文能力标注明确的模型。参数越大越聪明，也越吃内存，量力而行。

三、真实的硬件门槛

这部分是网上最少讲、但你最该先看的。

内存。 桌面应用一般建议 8GB 起步，16GB 更稳。16GB 的机器处理上千页文档是够的，建索引通常在几分钟内。

模型大小和内存挂钩。 以 Mac 为例，8GB 大概能跑 30 亿参数级别的模型，16GB 对应 70 亿参数，32GB 对应 130 亿参数。Windows 和 Linux 一般还需要一块独立显卡，显存 6GB 是个常见的起点。

扫描版 PDF 处理不了。 这条最容易踩。如果你的 PDF 是拍照或扫描出来的纯图像，本地应用默认读不出文字，得先做一遍文字识别。先用工具把文字抠出来，再喂给模型，这一步不能省。

小模型的推理能力明显弱。 能跑在本机上的模型，和云端旗舰不在一个水平。总结、改写、提取这种活没问题。需要复杂判断的，结论必须自己再核一遍。

四、本地版做不到的三件事

说清楚边界，比只讲好处有用。

不能联网查资料。 它的知识来自训练数据和你的文档，不会去网上给你找最新信息。

跑不了最大的模型。 你本地能跑的参数规模，取决于你的内存和显卡。

多人在线协作不方便。 桌面版是给你一个人用的。团队要共用，得走 Docker 部署这类更麻烦的路。

模型和软件都得自己维护。 云端产品会替你升级，本地这一套要自己盯着版本，出了兼容问题也得自己解。

不会替你做判断。 它交给你的是一段文本，不是一个结论。这么改对不对，还是你说了算。

再补一条容易被忘的。功耗。笔记本插着电跑本地模型，风扇会一直转。要长时间用，台式机或者带独立显卡的机器，体验会好很多。

写在最后

省下的那两百块不是重点。

重点是那一下「咯噔」。

当一份不该外传的文件需要处理时，你不再需要先做一次取舍。直接拖进去，全程离线。我把网线拔掉试过，它照样回答。

这类工具真正的价值，是把「要不要传出去」这道选择题，直接从你面前拿走了。

那你的电脑，现在是替谁在跑？它跑出来的东西，又留在了哪里？

【官方信息】文中提到的 LM Studio、Ollama、AnythingLLM、Jan 均为可免费下载使用的本地 AI 应用，具体许可、系统要求与定价请以各自官网为准。硬件建议与内存对应模型规模的说明来自相关产品的官方说明文档。

觉得有用的话，帮忙点个「赞」和「在看」；想第一时间收到推送，也给我加个星标。下一篇写长文档：几百页的手册，怎么问才不跑偏。需要的在留言里说一声。

信源： 本地运行方案与工具对比参考 2026 年 8 月前后公开的本地大模型应用实测（LM Studio、Jan、AnythingLLM 内置检索能力对比）；内存与模型规模的对应关系、系统与硬件要求参考各产品官方说明；「不支持纯图像扫描版 PDF、需先做文字识别」为同批实测中的共同结论。