夜雨聆风学习资料网

ARTICLE · 1374817

10款纯CPU可跑的本地AI模型破甲合集(附原版下载链接)

10款纯CPU可跑的本地AI模型破甲合集(附原版下载链接)

整理了 10 款可以在 Hugging Face 直接下载的 GGUF 格式破甲(Uncensored / Heretic / Abliterated)模型。体积从 0.67GB 到 7.32GB 不等,不需要独立显卡,普通电脑纯靠 CPU 和内存就能在本地跑起来。

模型清单

按体积从小到大排列,方便按自己电脑的内存情况挑选:

1. MiniCPM-V 4.7 1B Heretic体积 0.67GB,支持图像输入,拒绝率 9/100。OpenBMB 出品的端侧多模态小模型,适合低配置设备做轻量图文理解(做图像任务时需搭配仓库里的 mmproj 视觉文件一起下载)。Hugging Face:https://huggingface.co/Abiray/MiniCPM-V-4.7-1B-abliterated-heretic-GGUF

2. Qwen3.8 2B Uncensored体积 1.27GB,拒绝率 3/100。基于 Qwen3.8 2B 架构去除了拒绝机制,体积极小,适合日常轻度对话和基础文本处理。Hugging Face:https://huggingface.co/atakhadivi/Qwen3.8-2B-Uncensored-GGUF

3. MiniCPM5 2B Heretic体积 1.56GB,拒绝率 5/100。MiniCPM5 2B 的纯文本版本,主打端侧低资源消耗下的日常问答与生成。Hugging Face:https://huggingface.co/Abiray/MiniCPM5-2B-heretic-abliterated-GGUF

4. LFM2.5 2.6B Uncensored体积 1.67GB,支持 128K 上下文,拒绝率 6/100。Liquid AI 开发的混合架构端侧模型,小体积下能塞进较长文本,适合长文档摘要或本地轻量 Agent。Hugging Face:https://huggingface.co/zaakirio/LFM2.5-2.6B-Uncensored-GGUF

5. Spark X2.6 4B Abliterated体积 2.60GB,支持 1M 超长上下文,拒绝率 2/100。4B 混合注意力模型,长文本容量很大且拒绝率很低,适合长篇资料梳理。Hugging Face:https://huggingface.co/FrostWolfAI/Spark-X2.6-4B-abliterated-GGUF

6. Huihui Qwen3.5 4B Abliterated体积 2.71GB。社区知名的 huihui-ai 团队基于 Qwen3.5 4B 制作的破甲版本,中文对话与通用指令遵循比较均衡。Hugging Face:https://huggingface.co/mradermacher/Huihui-Qwen3.5-4B-abliterated-GGUF

7. Gemma 4 E2B Heretic ARA体积 3.43GB,支持图像和音频输入,拒绝率 5/100。Google Gemma 4 E2B 的破甲版,同时兼顾视觉和音频多模态能力。Hugging Face:https://huggingface.co/mradermacher/gemma-4-E2B-it-heretic-ara-GGUF

8. LFM2.5 8B-A1B Uncensored体积 5.16GB,1.5B 活跃参数,拒绝率 1/100。Liquid AI 的稀疏混合架构模型,虽然总参数 8B,但每次推理只激活约 1.5B 参数,CPU 上跑起来压力比同体量稠密模型小,且拒绝率是这批里最低的。Hugging Face:https://huggingface.co/gaston-parravicini/LFM2.5-8B-A1B-Uncensored-Gaston-GGUF

9. Qwythos 9B 1M Heretic体积 6.22GB,支持 1M 超长上下文,拒绝率 11/100。Empero 开发的 9B 推理模型,主打深度思维链(CoT),侧重网络安全、生物医药等专业技术问答。Hugging Face:https://huggingface.co/llmfan46/Qwythos-9B-Claude-Mythos-5-1M-uncensored-heretic-GGUF

10. Qwen3.6 12B Heretic Uncensored体积 7.32GB,支持 256K 上下文。基于 Qwen3.6 12B 制作的思考型破甲版本,适合 16GB 以上内存的电脑用来处理较复杂的推理和写作任务。Hugging Face:https://huggingface.co/KevinJK51/Qwen3.6-12B-IQ-Ultra-Heretic-Uncensored-Thinking-V2-Hightop-GGUF

本地运行与配置建议

这批模型都是标准的 GGUF 格式,直接用 KoboldCpp、LM Studio 或 Ollama 导入就能运行,不需要独立 GPU,生成速度主要取决于电脑的 CPU 性能。

选模型时可以按这个公式估算内存:所需内存 ≈ 模型体积 + 1~2GB(留给上下文缓存)。另外注意一下,第 5 款 Spark X2.6 需要搭配支持 Spark2.5 架构的最新版 llama.cpp 才能正常跑起来。

回首页,搜索你想要的文档

在首页搜索框输入关键词,快速定位资料

文库首页搜索指引 立即搜索

相关学习资料