我在自己电脑上装了个 AI，它记得住我，也从不上传我的东西

你有没有想过，每次跟 ChatGPT 聊完，那些工作安排、项目想法、甚至随口的吐槽，都去哪了？前阵子老王问了我一句，我没答上来。

一、饭桌上那句话

做律师的老王跟我吃饭时提了一嘴：他想用 AI 帮忙整理案卷，但客户资料是要保密的，传到云上万一出事，执业证就没了。所以那些好用的工具，他一个都不敢碰。

我当时没接话。其实我自己也差不多——跟 AI 聊得越多，它越懂我，但代价是我把自己一点点交了出去。对话、习惯、那些不想让人知道的东西，全在别人的服务器上躺着。

那天回去我就琢磨，能不能有个 AI 是真正属于我的：跑在自己电脑上，记得住我，但什么都不往外传。

二、我们用的 AI，其实是租来的

ChatGPT、Notion AI 这些云端工具确实聪明省心，但有两个地方我后来越想越别扭。

一个是它不记事。今天你告诉它"回答简洁点别废话"，明天它照样给你长篇大论，因为它压根不记得你是谁。

另一个就是数据。普通人觉得这是隐私问题，但对律师、医生、或者手里攥着公司机密的创业者来说，这直接就是"没法用"。

说白了，用云端 AI 有点像住酒店，方便归方便，但东西都得搁在别人那儿。我想要的更像家里的管家，东西都在屋里，人还越用越懂你。

三、想搭这么一个本地 AI，得先想明白几件事

模型跑在自己机器上。 用 Ollama 基本一行命令就能把开源模型（Llama 3.3、Qwen 3 这些）拉起来在本地跑。日常对话用 8B 的就够，一张 RTX 4060 都能带得动；真要做复杂推理再上 70B。没独显也不是不行，Ollama 支持 CPU 跑，就是慢点。把它定位成日常助手就好，啃硬骨头的活儿留个口子调云端。

记忆不是把聊天记录全塞回去。 很多人第一反应是把历史对话一股脑喂给模型，但上下文根本装不下你几个月的东西。靠谱的做法是聊完之后让模型把关键事实提炼出来——"这人喜欢简洁""老王是合作方"——存进本地的向量库，下次先检索相关的再带进去。mem0 这类库就是帮你把这套流程自动跑起来。

工具集成靠 Function Calling。 把 Notion、日历、邮件这些封装成工具，模型自己判断该调哪个，帮你记笔记、加提醒、起草邮件。不过本地小模型在这块没 GPT-4o 稳，偶尔会乱传参数，所以工具描述写清楚点、参数别搞太复杂、加上校验和重试。

隐私是这事的根。 默认全本地，推理、嵌入、记忆库都在你机器上。只有你自己点头了，才把脱敏后的内容发去云端兜底。本地优先、云端可选，这样隐私和能力才能两头都顾着。

四、上手其实没几行

import ollama
from mem0 import Memory

# 模型、嵌入、向量库全配本地，数据不出门
memory = Memory.from_config({
    "llm":      {"provider": "ollama", "config": {"model": "llama3.3:8b"}},
    "embedder": {"provider": "ollama", "config": {"model": "nomic-embed-text"}},
    "vector_store": {"provider": "chroma", "config": {"path": "./local_memory"}},
})

def chat(user_input: str) -> str:
    # 先把相关的记忆捞出来
    mems = memory.search(query=user_input, user_id="me", limit=5)
    ctx = "\n".join(f"- {m['memory']}" for m in mems["results"])
    # 带着记忆做本地推理
    resp = ollama.chat(model="llama3.3:8b", messages=[
        {"role": "system", "content": f"你是用户的私人助理，已知记忆：\n{ctx}"},
        {"role": "user", "content": user_input},
    ])
    reply = resp["message"]["content"]
    # 这次聊的内容再存回去（mem0 会自动抽关键事实）
    memory.add([{"role": "user", "content": user_input},
                {"role": "assistant", "content": reply}], user_id="me")
    return reply

# 第一次："我喜欢简洁的回答，别废话"  → 它记下了
# 一周后："帮我总结下 AI 发展"        → 自动给你简洁版

跑一阵你会发现它是真记得你说过的话。这种慢慢被它"摸熟"的感觉，云端 AI 给不了。

五、几个我踩过或者差点踩的坑

别指望 8B 的小模型有 GPT-4o 那么聪明。它有上限，把预期放对位置，复杂的活儿走云端兜底，就不至于失望。

别把记忆做成黑盒。用户得能看到 AI 记了啥、能删、能改。记忆这东西看不见摸不着的话，跟云端 AI 又有什么区别。

Notion、邮箱的 API Token 别明文写代码里。用系统密钥链或者加密存一下。本地不代表就能不管安全了。

记忆库用久了会塞满一堆没用的碎信息，得时不时去重、合并、把过期的清掉，不然检索越来越不准。

六、最后

老王后来真把这套搭起来了，案卷资料一个字都没离开过他那台工作站。他说终于有个 AI 敢让他说点心里话了。

我们把数据往外交了这么多年，现在能要回来一点是一点。

你会愿意花点时间，给自己也搭一个吗？评论区聊聊。

觉得有用就转给那个"不敢用云 AI"的朋友吧 🙌