夜雨聆风——年薪60-100万，让大模型“瘦身”跑上手机的高薪技术岗
第14期
01 大模型很牛，但有一个致命缺点
GPT-4、DeepSeek-V3这些大模型确实聪明，但你没发现吗？它们只能跑在云端，离你的手机、汽车、智能音箱很远。
为什么？因为太大了。
一个千亿参数模型需要好几张H100显卡才能跑起来，部署成本几十万，功耗几百瓦。手机装不下，汽车跑不动，摄像头更别想。
但用户想要离线语音助手，车厂想要本地智驾，手机厂商想要端侧AI。
谁来解决这个矛盾？AI模型压缩工程师。
你的工作：给大模型“减肥”——剪掉冗余参数、用更小的数字表示权重、甚至让多个模型共享计算。目标是保持90%以上的效果，但模型体积缩小到十分之一，速度提升5-10倍。
薪资水平：初级40-60万，中级60-90万，高级90-150万。顶尖的模型压缩专家，年薪200万+。
为什么值钱？因为大模型落地最大的瓶颈不是智能，是成本。能把模型压小的人，直接帮公司省几百万服务器费用。
02 模型压缩到底做什么？四种核心技术
第一件：模型剪枝
大模型里很多参数是“冗余”的——去掉它们，模型效果几乎不变。你像修剪树枝一样，把不重要的连接剪掉。
剪枝后模型体积减小30%-50%，速度提升30%-50%，效果损失<1%。
常用工具：TensorFlow Model Optimization、PyTorch Pruning。
第二件：权重量化
模型参数通常是32位浮点数，太精细了。你可以用8位整数甚至4位整数表示，精度略降但体积直接缩小4-8倍。
比如DeepSeek的1.3B模型从5GB压缩到600MB，手机都能跑。
常用工具：ONNX Runtime、TensorRT、llama.cpp。
第三件：知识蒸馏
用一个超大模型（老师）教一个小模型（学生）。学生模型只有几亿参数，但学到的“知识”接近老师。
学生模型速度快、体积小，适合部署到边缘设备。
常用框架：Hugging Face Transformers（蒸馏API）、DistilBERT。
第四件：神经网络架构搜索（NAS）
不是手工设计小模型，而是让AI自己搜索最优的“瘦身”结构。在给定算力约束下，找到效果最好的模型架构。
这是最前沿的方向，大厂专门设岗做这个。
03 为什么突然爆发？三个数据
数据一：端侧AI需求井喷
手机、汽车、摄像头、智能家居……所有终端都想跑AI。但芯片算力有限，模型必须压缩。
苹果A17 Pro芯片支持4-bit量化，直接在手机上跑大模型。华为、高通、联发科纷纷跟进。每一家都需要模型压缩工程师。
数据二：推理成本居高不下
调用一次大模型API几分钱，但如果每天调用10亿次，一天成本几千万。压缩后的模型可以部署在自有服务器上，成本降低80%。
数据三：人才极度稀缺
模型压缩横跨算法、系统和硬件，懂的人极少。猎聘数据显示，2026年Q1“模型压缩/量化”岗位同比增长320%，平均年薪82万，候选人几乎被秒抢。
04 零基础怎么入行？（5个月路线图）
模型压缩不需要你从零训练大模型，但需要你懂深度学习基础、会PyTorch/TensorFlow。
第一阶段：打好深度学习基础（第1-8周）
· 学习Python进阶：类、装饰器、数据预处理。
· 学习PyTorch基础：张量、自动微分、搭建简单CNN。
· 跑通一个图像分类任务（CIFAR-10），理解训练、验证、推理全流程。
第二阶段：学习剪枝与量化（第9-16周）
· 在PyTorch上对一个预训练模型（如ResNet-18）做剪枝，观察体积和精度变化。
· 学习ONNX和TensorRT，将模型转换为量化版本，部署到CPU/GPU。
· 阅读经典论文：Learning both Weights and Connections for Efficient Neural Networks（剪枝）、Quantization and Training of Neural Networks（量化）。
第三阶段：做作品集（第17-20周）
选一个开源模型（比如BERT-tiny、MobileNet），完成压缩并量化。输出：
· 压缩前后体积对比（MB）
· 推理速度对比（ms/样本）
· 精度对比（准确率）
· 代码+文档
把结果发布到GitHub，标题《XX模型压缩方案：体积减少70%，速度提升3倍》。面试官看到这个，直接约面试。
05 真实案例：算法工程师转型模型压缩，年薪55万→110万
小孙，某公司算法工程师，平时做图像识别，年薪55万。他发现公司想把模型部署到ARM芯片上，但模型太大跑不动。他花2个月自学模型压缩，成功将ResNet-50从98MB压缩到22MB，精度仅降0.5%，推理速度提升4倍。这个项目让他直接晋升为模型压缩团队负责人，年薪涨到110万。
06 怎么赚钱？三条路径
路径一：大厂AI框架/芯片部门（年薪60-120万）
华为、字节、阿里、腾讯、百度都有模型压缩团队，负责优化自研模型或部署到业务线。要求：有压缩项目经验，熟悉PyTorch/TensorRT。
路径二：AI芯片公司（年薪80-150万）
地平线、寒武纪、燧原科技等芯片公司，需要人帮客户把模型压缩后跑在他们芯片上。不仅给薪资，还给期权。
路径三：开源工具贡献者/技术博主（身价倍增）
在llama.cpp、ONNX Runtime等开源项目上贡献代码，或在知乎/B站输出模型压缩教程。积累影响力后，大厂主动挖你，年薪直接翻倍。
07 行动清单（本周完成）
· 今天：安装PyTorch，跑通官方CIFAR-10分类教程，确保环境没问题。
· 明天：下载一个预训练ResNet-18模型，打印模型结构，数一数总参数量。
·周三：用PyTorch的torch.nn.utils.prune对一层卷积做随机剪枝，观察剪枝后模型大小变化。
· 周四：阅读一篇模型压缩入门文章（推荐“模型压缩：剪枝、量化、蒸馏综述”），总结三个核心点。
· 周五-周末：在GitHub上star一个模型压缩开源项目（例如llama.cpp、TensorRT），看一遍README，理解它支持的压缩方式。
08 下期预告
明天【大模型应用开发从零做起】第6篇：Function Calling——让AI自己调用工具，查天气、算数学、发邮件。
点个关注，明天见。
👉 福利：回复“模型压缩”到公众号后台，免费领取《模型压缩入门资料包》（含PyTorch剪枝代码示例+量化教程+经典论文清单）。
评论区聊聊：你觉得手机上的AI需要多大参数才够用？点赞最高的3位，送《模型压缩面试高频20题》PDF。
——来自 ai随记