乐于分享
好东西不私藏

这俩AI工具太香了:Mac跑大模型 + Claude长期记忆

这俩AI工具太香了:Mac跑大模型 + Claude长期记忆

这期聊两个实战工具,不整虚的。

一、TensorFold:Mac也能跑30B大模型

作者ashhart,让Apple Silicon Mac跑MoE架构的大模型(比如Qwen2.5-32B、DeepSeek)。MoE就是"混合专家"——模型总参数量大,但每次只激活一小部分专家,所以Mac那点内存也能扛住。

TensorFold利用MoE特性 + 苹果MLX框架的混合精度,M2 Mac(16GB)就能跑30B级别模型。正常这得买上万的显卡。

安装:

pip install mlx

git clone https://github.com/ashhart/TensorFold

cd TensorFold

python run.py --model Qwen/Qwen2.5-32B-A3B

等模型下载完就能在命令行聊天。

适合场景: 本地编程助手(代码不上云)、文档问答、本地数据处理、断网应急。

坑: 只支持MoE模型,纯Dense模型(Llama 3 70B)跑不动;生成速度不快,每秒几个token;MLX版本要匹配,升级可能报错;M1 8GB用户建议跑7B-14B的小模型。

二、codex-memory:给Claude Code装个外挂大脑

mcncarl/codex-memory 用 Obsidian + SQLite 给 Claude Code 做长期记忆。原理简单:记忆存为Markdown放Obsidian vault里,人可以直接读写;SQLite建索引,Claude Code能快速检索。

记忆内容包括:项目决策、代码架构、编码偏好、技术选型理由等。

上手:

git clone https://github.com/mcncarl/codex-memory

cd codex-memory

看完README装依赖,把Obsidian vault链接到项目目录,然后在Claude Code配置里引入记忆指令。每次对话结束时Claude写重要决策到Markdown,下次新会话自动检索,就像一直记得你。

适合场景: 长期项目(两三个月不"失忆")、团队协作(记忆共享)、个性化编码风格、顺便当项目文档。

坑: 需要会用Obsidian和vault概念;Claude Code有时检索不准;记忆文件会膨胀,需要定期整理;不是全自动,得检查Claude写的记忆对不对;跨项目记忆暂不支持。

小结

• **TensorFold**:手头只有Mac、想在本地跑大模型,省钱省事,速度不快但能用。

• **codex-memory**:用Claude Code做正经项目,搭建有点麻烦,但搭好后不再被"失忆"折磨。

*链接:*

• TensorFold:https://github.com/ashhart/TensorFold

• codex-memory:https://github.com/mcncarl/codex-memory