夜雨聆风没显卡就不能本地跑AI了？这事被带偏的人挺多。其实纯CPU的老机器也能跑一堆东西，关键不在模型多大，在量化压缩。这篇把能在低配和纯CPU电脑上跑的AI模型捋成一份清单——大模型Qwen、Phi、Llama，语音转文字Whisper，文字转语音CosyVoice，OCR识别PaddleOCR，离线翻译，还有Pinokio、Open WebUI、pyVideoTrans这些一键装好的整合软件。一台吃灰的旧电脑，能变成本地AI小工坊。
没显卡就不能本地跑AI了？被这话劝退的人不少。
前两天群里又有人问，我这破笔记本没独显能跑大模型吗，底下齐刷刷回"别想了"。看着挺无奈。能不能跑这事，跟机器贵不贵没多大关系，跟模型被没被压缩过有关系。
得先说个词，量化。
大模型原始权重十几个G，全是浮点数。CPU每吐一个字，就得把这堆权重从头到尾读一遍，累死。量化就是把这堆数压小，压到4-bit，一个3B的模型剩1.5G，CPU读着就不费劲了。格式叫GGUF，档位先记Q4_K_M，日常够了，内存富裕再往上调。
所以真不是显卡的事。是舍不舍得用压缩模型的事。
大模型：先按内存挑
量化后体积大概0.5到5G，跟参数量挂钩。
挑出来最稳的几个，脾气不一样：
工具别纠结，Ollama一条命令的事，ollama run qwen2.5:1.5b，还开着个OpenAI兼容接口，写代码调它跟调云端一个样，换模型就改个名。
这些小模型能干啥
小模型是干碎活的，不是来跟GPT拼智商的。
其实是助理的助理，脏活先过一遍。真要深度内容、要判断，还得靠云端或者人。
专项模型其实更香
除了大模型，还有一类专门干一件事的，比大模型轻，在CPU上也比大模型实用。
转会议录音、做字幕用Whisper；发票证件、截图文字用OCR；敏感合同用离线翻译。这些活专项模型利索多了。
串起来还能搭条流水线：录音用Whisper转文字，丢给本地大模型出纪要，再CosyVoice配音；截图用PaddleOCR抠字，再让大模型入库。全程不出本机。
不想自己装？有整合软件
一个个装确实劝退。整合软件现在挺成熟：
做内容的pyVideoTrans真得看，字幕、转文字、配音一个就够。
怎么搭
纯CPU记住一条，别贪大。大模型1.5B到3B，Whisper用small，配音CosyVoice-300M Lite，OCR用PaddleOCR。这套老电脑都带得动。
那些吃灰的旧电脑，先别卖废铁。
下一篇真动手，在一台机器上把Ollama加个3B模型跑起来，再走一遍音频转文字加配音。光看不做，永远学不会。
关注小虾，一起成长，一起进化
往期推荐
当培训落到了我头上——推诿扯皮之后，我用龙虾智能体写了套考试系统