
这期聊两个实战工具,不整虚的。
一、TensorFold:Mac也能跑30B大模型
作者ashhart,让Apple Silicon Mac跑MoE架构的大模型(比如Qwen2.5-32B、DeepSeek)。MoE就是"混合专家"——模型总参数量大,但每次只激活一小部分专家,所以Mac那点内存也能扛住。
TensorFold利用MoE特性 + 苹果MLX框架的混合精度,M2 Mac(16GB)就能跑30B级别模型。正常这得买上万的显卡。
安装:
pip install mlx
git clone https://github.com/ashhart/TensorFold
cd TensorFold
python run.py --model Qwen/Qwen2.5-32B-A3B
等模型下载完就能在命令行聊天。
适合场景: 本地编程助手(代码不上云)、文档问答、本地数据处理、断网应急。
坑: 只支持MoE模型,纯Dense模型(Llama 3 70B)跑不动;生成速度不快,每秒几个token;MLX版本要匹配,升级可能报错;M1 8GB用户建议跑7B-14B的小模型。
二、codex-memory:给Claude Code装个外挂大脑
mcncarl/codex-memory 用 Obsidian + SQLite 给 Claude Code 做长期记忆。原理简单:记忆存为Markdown放Obsidian vault里,人可以直接读写;SQLite建索引,Claude Code能快速检索。
记忆内容包括:项目决策、代码架构、编码偏好、技术选型理由等。
上手:
git clone https://github.com/mcncarl/codex-memory
cd codex-memory
看完README装依赖,把Obsidian vault链接到项目目录,然后在Claude Code配置里引入记忆指令。每次对话结束时Claude写重要决策到Markdown,下次新会话自动检索,就像一直记得你。
适合场景: 长期项目(两三个月不"失忆")、团队协作(记忆共享)、个性化编码风格、顺便当项目文档。
坑: 需要会用Obsidian和vault概念;Claude Code有时检索不准;记忆文件会膨胀,需要定期整理;不是全自动,得检查Claude写的记忆对不对;跨项目记忆暂不支持。
小结
• **TensorFold**:手头只有Mac、想在本地跑大模型,省钱省事,速度不快但能用。
• **codex-memory**:用Claude Code做正经项目,搭建有点麻烦,但搭好后不再被"失忆"折磨。
*链接:*
• TensorFold:https://github.com/ashhart/TensorFold
• codex-memory:https://github.com/mcncarl/codex-memory
夜雨聆风