AI搬回自己电脑

我有个老哥，做财务咨询的。

手里的东西，客户的账、工资表、成本结构——一步都不能出公司。

他这两年看我们玩 AI 看得眼馋，可问他为啥不用，就一句：

我不敢传上去。

我说人家有保密协议，有企业级服务。

他说，老李，话是这么说，可东西一旦出了我这台机器，我就睡不踏实。

我以前觉得他太谨慎。

直到有一次，我自己往一个在线工具里粘了一段客户的代码，粘完才反应过来——这玩意儿合同里写了不能外传。

那天我出了一身冷汗。

从那以后我就开始认真琢磨一件事：

能不能让它就在我自己电脑上跑？

九月初这几天，本地跑模型这事突然容易了

我把最近冒出来的几样东西捋了一遍，发现它们凑在一起，正好拼成了一条完整的路：

① Nous Research 的 Hermes Desktop（9 月 4 号）

它干的事就一件：一键配置本地模型。

你点一下，它自己看你的机器是啥配置、挑合适的模型版本、下载、配好运行环境。

这一步以前要折腾一整个下午，还得翻一堆教程。

② NVIDIA 的 PAIR（9 月 4 号）

这个更有意思：它把你家里/办公室里的多台机器——装了 RTX 的台式机、DGX Spark、Mac——在局域网里连成一个私有 AI 集群。

请求来了，它自动分给现在空闲的那台去算。

③ Perplexity 开源的 Lily（9 月 3 号）

专门给苹果芯片做的本地推理引擎。官方给的数，在 M5 Max 的 MacBook Pro 上，比 MLX-LM 快：prefill 快 1.23 倍，解码快 1.35 倍。

（这数是官方口径，我没自己跑。）

看出来了吗？

下载、运行、调度——以前每一环都劝退，现在每一环都有人给你铺好了。

本地跑，到底图个啥

我想了想，其实就三样：

第一，东西不出门。

对我那做财务的老哥来说，这一条就够了。数据在自己硬盘上，谁也拿不走，谁也看不到。

第二，长期不花钱。

买显卡是一次性的，云端是按次烧的。你要是天天跑、跑量大，本地迟早回本。

第三，断网也能干。

飞机上、高铁上、客户内网里——没网照样能用。

但我必须把话说全

本地不是万能的，它有三道坎：

第一，跑不了最强的模型。

最强的那些，参数量大到你家显卡塞不下。本地和云端，短期里不是替代关系，是分工。

我的做法：敏感的和日常的走本地，要最强的走云端。

第二，得有张像样的显卡。

没显卡硬跑，那速度能让你怀疑人生。这块的门槛是钱，不是技术。

第三，折腾程度还是高于云端。

虽然一键了，但驱动、显存、模型格式这些坑，该踩还得踩。纯小白慎入。

具体怎么搭、需要什么配置、哪些模型值得本地跑，第二篇我一步一步给你写清楚。

回到我那做财务的老哥。

我最近想跟他说：

你现在可以放心用了。

不用再在"方便"和"踏实"之间二选一。

有些东西，比如客户的信任，本来就不是一个能上传到云端的文件。

你有没有那种——想用 AI 却因为"不敢传"而放弃的场景？评论区说说，咱看看本地能不能解。