ARTICLE · 1305046

小模型选型手册:8B 以下,高下载量模型的功能分类盘点

发布时间：2026-11-04 11:10:51 最近访问：2026-11-04 11:10:52

2026 年 11 月版数据截至 2026-11-03

把参数上限卡在 8B，砍掉的只是"炫耀性智能"，几乎不砍实际生产力。问答写作、检索增强、语音识别与合成、代码、看图识文档、中等推理、文生图——这些日常最重的活，8B 以下都有生态成熟的成品。

真正受限的，是超长链路的复杂 Agent 和前沿推理极限。下面是按日常使用频率排的 11 个战场，以及每类里被反复拉取的那几个模型。

KEY NUMBERS

83%

HF 历史累计下载量来自 1B 以下模型

20.45亿

Qwen 全家族 2026 年 1–8 月下载，全球第一

1.8–2.5亿

all-MiniLM-L6-v2 月下载，长期全站第一

2.88亿

Whisper large 系含 134 个衍生，累计下载

注：HF 的 downloads 是近 30 天滚动值，按仓库计、含 CI 与自动化抓取；家族总下载与单仓库下载不可直接比较。

MAP8B 以下还能干啥

按"日常使用频率"从高到低排列：

1	对话 · 写作 · 翻译 —— 问答、长文摘要、多语翻译、文案润色，7–8B 已接近日常够用的天花板
2	RAG 检索与知识库 —— 向量检索、重排序；embedding 模型天生就是小模型，与 8B 上限无关
3	语音转文字 —— Whisper 是部署最广的语音识别家族之一；2026 年准确率榜上 Parakeet 等更新一代模型已在部分指标反超
4	语音合成 —— 82M 参数的 Kokoro 跑在 CPU 上，Artificial Analysis 开源权重子榜第 6
5	代码生成与补全 —— 7B 级代码模型是本地编程 Agent（OpenCode 等）的主流选择
6	看图 · OCR · 文档 —— 截图问答、票据/文档识别、界面操作 Agent，Qwen-VL 是该尺寸段下载量最高的家族之一
7	数学 · 逻辑推理 —— R1 蒸馏版让 1.5B–8B 也会"先想再答"，官方口径下 1.5B 版在 AIME 2024 / MATH-500 上超过 GPT-4o 与 Claude-3.5-Sonnet
8	文生图 —— 6B 的 Z-Image-Turbo 在 4090 上 2.3 秒出一张 1024px，Apache 协议可商用
9	垂直领域专精 —— 医疗影像报告、听音频对话、中文端侧优化等专项小模型
10	超小边缘部署 —— 手机、树莓派、浏览器里跑：分类、NER、函数调用专用微型模型

关于"下载量千万级"需要说清楚：文本生成类中，月下载过千万的 <8B 模型目前只有 Qwen3-0.6B 与 Qwen3-4B 两款；若把 embedding、ASR 这类专用小模型一并计入，"千万级"才普遍成立。

01通用对话与文本生成

日常问答、写作润色、长文摘要、中英互译、信息抽取，以及配合 Ollama / OpenWebUI 搭本地聊天机器人和支持工具调用的本地 Agent。这是大多数人装小模型的第一站，也是 Qwen 系一家独大的战场。

模型	下载 / 许可	定位
Qwen3-0.6B 0.6B	2,200–3,000 万 Apache-2.0	月下载最高的开源 LLM 之一；端侧、草稿模型、路由分流的万金油
Qwen3-4B 4B	840–1,230 万 Apache-2.0	4B 档下载主力之一
Qwen3-8B 8B（实际 8.2B）	约 790 万 Apache-2.0	8B 级全能主力，思考/非思考双模式；Q4_K_M 约 5.0 GB（运行时约 6.5 GB）
Qwen3.5-4B 4B	900–1,000 万 Apache-2.0	2026-03 发布的新一代 4B，262K 上下文，笔记本内存直接跑的问答主力
Qwen2.5-7B-Instruct 7B（实际 7.61B）	450–960 万 Apache-2.0	上一代长青主力，衍生微调生态最庞大的版本之一
Qwen2.5-0.5B-Instruct 0.5B	500–660 万 Apache-2.0	超轻量指令模型
Qwen2.5-1.5B-Instruct 1.5B	500–620 万 Apache-2.0	树莓派/老机器级对话
Llama-3.1-8B-Instruct 8B（实际 8.03B）	约 470 万 Llama 协议	英文生态标杆，社区 8.7K 点赞，工具调用成熟
ling-3.0-tiny 7.9B（激活 1.3B）	2026-08 新发布 MIT（可商用）	MoE 混合推理；M4 Pro fp8 实测 86–90 tok/s，8K 峰值内存 8.34 GiB（第三方复现）

下载量为近 30 天口径，快照约 2026-10-29 至 11-03，跨源波动可达 ±30%。

02RAG 检索组件：隐形冠军

把文档变成向量做语义搜索、给检索结果重排序——一切本地知识库、企业搜索、记忆系统的底座。这类模型天生全是"小模型"（22M–600M），8B 上限对 RAG 完全不构成瓶颈。榜首 all-MiniLM-L6-v2 月下载约 2 亿，比任何大语言模型都高一个数量级。

模型	月下载 / 许可	定位
all-MiniLM-L6-v2 22M · 384 维	1.8–2.5 亿 Apache-2.0	HF 史上下载最高的句向量模型；fp32 约 90 MB / int8 约 23 MB
ms-marco-MiniLM-L6-v2 22M	约 6,860 万 Apache-2.0	最常用的重排序器，给检索结果二次精排
bge-small-en-v1.5 33M	约 5,110 万 MIT	英文小型 embedding 经典款
bge-m3 568M · 8K	约 3,040 万 MIT	稠密+稀疏+多向量三合一，开源 RAG 引用最多之一
paraphrase-multilingual-MiniLM-L12-v2 118M · 50+ 语言	约 2,800 万 Apache-2.0	多语向量，跨语言检索标准件
bge-reranker-v2-m3 568M	约 1,470 万 Apache-2.0	中英双语重排首选
Qwen3-Embedding-0.6B 0.6B · 32K	— Apache-2.0	100+ 语言，追求质量上限的 0.6B 选择

03语音转文字 ASR

会议录音转写、播客/视频上字幕、语音输入、实时翻译。Whisper 是部署最广、生态最全的语音识别家族——large 系（含 134 个衍生）累计约 2.88 亿下载，全家族月下载约 2,000 万以上，衍生出 faster-whisper、whisper.cpp 等几乎全部部署形态。

但 2026 年准确率榜（Open ASR Leaderboard）上，Parakeet-TDT-0.6B-v3 的 WER（6.32%）已优于 large-v3（7.44%）——新项目选型不必默认 Whisper。

模型	下载 / 许可	定位
whisper-large-v3 1.55B	月 540 万累计 1.5 亿权重 Apache-2.0（HF 卡）/ 代码 MIT	99 种语言、带时间戳；fp16 权重 3.1 GB，实测峰值 3.9 GB（官方建议 10 GB 机器）
whisper-large-v3-turbo 809M	月 860 万累计 1.26 亿 MIT	官方称 8 倍速（A100/英文口径），Q8 约 0.87 GB
parakeet-tdt-0.6b-v3 627M	— CC-BY-4.0（商用需署名）	25 种欧洲语言流式识别；量化约 2 GB / fp16 约 2.8 GB 内存
Qwen3-ASR-0.6B 938M	月 82 万累计 980 万 Apache-2.0	2026 年新晋轻量 ASR，52 种语言方言（8 月曾达 430 万/月，10 月底已回落）

04语音合成 TTS

给读书 App、导航、客服机器人配音，本地批量生产有声内容。这个赛道的神奇之处在于：最小的模型反而最能打。

模型	下载 / 许可	定位
Kokoro-82M 82M	月 1,100 万累计 1.3 亿 Apache-2.0	第三方目录口径下 HF 下载最高的开源 TTS；AA 开源权重子榜第 6（Elo 1064），全榜 20 名开外；int8 权重约 90 MB，CPU 峰值 0.3–1 GB
Chatterbox 0.5B（Turbo 350M）	— MIT	情感控制与零样本克隆，TTS Arena Elo 1023–1026（各榜源并存）

05代码生成与补全

代码补全、注释生成、报错解释，接入 OpenCode / Continue 等本地编程 Agent。7B 级代码模型是目前"8 GB 显存玩转本地编程"的甜点位。

模型	许可	定位
Qwen2.5-Coder-7B-Instruct 7.6B	Apache-2.0	5.5T tokens 代码+文本训练，本地编程 Agent 的默认答案，Q4_K_M 约 4.7 GB
OpenCoder 1.5B / 8B	权重 INF 自定义（可商用，非 OSI）代码宽松开源	完全开放复现（数据+代码），支持中英对话
granite-code（IBM） 3B / 8B	Apache-2.0	企业向代码底座，配套 RAG 与工具调用
stable-code-3b 2.7B（3B 为营销名）	Stability 非商业研究许可（商用需授权）	以约 1/2.5 体积对打 Code Llama 7B 的老牌轻量代码模型
Yi-Coder-1.5B 1.5B	Apache-2.0	超轻量代码补全，10B 以下系列的小杯

06视觉理解 VLM

发截图问问题、票据/表单/手写 OCR、长文档图文理解、给"电脑操作 Agent"当眼睛。Qwen-VL 是该尺寸段下载量最高的模型家族之一。

模型	月下载 / 许可	定位
Qwen3-VL-8B-Instruct 8B（实际 8.77B，含视觉塔）	约 680 万 Apache-2.0	2026 年 8B 级 VLM 主力款，图文问答与 Agent 视觉能力均衡
Qwen2.5-VL-7B-Instruct 7B（全量 8.3B，含视觉塔）	约 570 万 Apache-2.0	上一代经典：OCR、文档解析、界面元素定位，微调生态丰富

07数学与逻辑推理

数学题、逻辑谜题、需要"先想再答"的多步任务。DeepSeek-R1 的蒸馏系列把推理能力压进了 1.5B–8B：1.5B 版官方模型卡口径为在 AIME 2024（28.9）与 MATH-500（83.9）上超过 GPT-4o 与 Claude-3.5-Sonnet。

⚠️ R1 系蒸馏版原生不支持 Function Calling / JSON 输出，接入工具调用需借助第三方框架（如 Ollama 变体、node-llama-cpp 等）包装。

模型	许可	定位
R1-Distill-Qwen-7B 7.6B	MIT	R1 推理链蒸馏进 Qwen2.5-7B 底座；官方 6 个蒸馏版之一
R1-Distill-Llama-8B 8B（实际 8.03B）	Llama 3.1 协议（叠加 R1 条款）	蒸馏进 Llama-3.1-8B 底座；Qwen 系官方蒸馏版无 8B 档
R1-Distill-Qwen-1.5B 1.5B	MIT	AIME 2024 / MATH-500 超 GPT-4o、Claude-3.5-Sonnet 的"最小推理机"，树莓派级硬件可跑
Phi-4-mini-reasoning 3.8B · 微软	MIT	数学推理专精，Q4 约 2.3 GB，课堂/竞赛场景常用
OpenThinker-7B 7.6B	Apache-2.0	Qwen2.5-7B 底座，用全开源数据（OpenThoughts-114k，源自 R1 蒸馏）训练

08文生图

本地批量出图、海报/插图生产、LoRA 风格定制。从 2025 年底到 2026 年，蒸馏与架构优化把出图速度压到秒级，最好的几款全是 6B 以下、可商用。

模型	许可 / 显存	定位
Z-Image-Turbo 6B（6.15B S3-DiT）	Apache-2.0约 16 GB	8 步出图，4090 上 1024px 约 2.3 秒，中英文文字渲染准确；HF 可核实的第三方 LoRA 约 200 个
FLUX.2-klein-4B 4B DiT + Qwen3-4B 编码器（整体约 8B）	Apache-2.0DiT 约 8 GB / 全链路约 13 GB	FLUX.2 家族中唯一 Apache-2.0 可商用款（klein 9B 非商用）；GB200 约 0.3 秒/张，RTX 5090 约 1.2 秒/张
FLUX 3 Image Klein 5.6B，2026-10-15	FLUX Kommunity（年营收 <500 万美元免费商用）BF16 11.2 GB / FP8 5.6 GB / INT8 8 GB 可跑	原生 4K、像素级编辑、最多 10 张参考图；BFL 自评超 Qwen-Image 2.1 与 FLUX.2-klein 9B
SDXL base 1.0 3.5B（UNet 2.6B + 双 CLIP）	OpenRAIL++官方建议 8 GB	LoRA / ControlNet 生态最庞大的老牌底座；月下载约 440 万、累计约 1.2 亿
MOSS-Image 5B DiT + Qwen3.5-9B 编码器	Apache-2.0全链路 24 GB 级	国产新生力量（复旦 NLP + SII + 模思智能），全量 bf16 需 24 GB 级显存
SD v1.4 0.86B	CreativeML4 GB 级可跑	启蒙级老将，fp16 权重约 2 GB，教学与低配机仍在用

许可陷阱提示：文生图是"开源"水分最大的赛道。FLUX.1-dev 等高人气模型实为非商用许可；Qwen-Image 2.1（Qwen Research License）只能研究用；Stability 系（stable-code、sd-turbo、SD3.5）按许可版本不同存在"非商用"或"年营收 <100 万美元才可商用"的限制。要商用请认准：Apache-2.0 的 Z-Image-Turbo、FLUX.2-klein-4B、MOSS-Image，以及 FLUX Kommunity 许可（年营收 <500 万美元免费商用）的 FLUX 3 Image Klein。

09垂直领域与特殊用途

给特定领域换上"专科大脑"——医疗影像、听音频聊天、中文端侧优化。这类模型通用性弱，但在本职领域往往超过同尺寸通用模型。

注：本表多数模型因含音频/视觉塔，实际参数超过 8B，已逐条标注。

模型	许可	定位
medgemma-1.5-4b-it 4.3B · 2026-01-13	HAI-DEF 条款（需申请接受，gated）	医疗影像理解与报告生成；注意与上一代 medgemma-4b-it 不是同一模型
Qwen2-Audio-7B-Instruct 7B（实际 8.2B）	Apache-2.0	"听得懂"的模型：听音频/语音后对话问答
VibeVoice-ASR 8.3B（实际 8.67B）2026-01-21 开源	MIT	60 分钟音频单次转写、50+ 语言、带说话人与时间戳（2026-03 才入库 Transformers）
audio-flamingo-3 7B 骨干 / 总参 8.3B	NVIDIA OneWay非商业（仅研究）	长音频理解与推理，音频问答赛道
讯飞星火 X2.6-4B 4B（另有 1.7B 版）	Apache-2.0（2026-10-21 开源）	中文端侧新贵；10 月起位列 HF 趋势榜前列（厂商口径）；X2.5+X2.6 官方及衍生版合计下载 400 万+

10传统 NLP 与视觉底座

文本分类、命名实体识别、关键词抽取、图像分类等"一对一打标签"的活。它们不是聊天模型，却是无数数据流水线的默认零件——BERT 至今每月仍有数千万级下载。做 NLP 工程时，一个 110M 的 BERT 往往比 8B 大模型更便宜、更快、更稳。

模型	月下载 / 许可	定位
bert-base-uncased 110M	3,000 万–1 亿 Apache-2.0	分类/NER/特征提取的教科书级底座（各源差异极大）
t5-small 60M	约 2,400 万 Apache-2.0	翻译/文本到文本框架的轻量款
mobilenetv3_small_100 ≈2.5M	1,900–2,300 万 Apache-2.0	手机/IoT 端图像分类，几 MB 就能部署
vit-base-patch16-224 86M	约 1,570 万 Apache-2.0	Vision Transformer 图像分类标准件
gpt2 124M	约 1,400 万修改 MIT	教学、基线测试与兼容层验证的常青树
laya 421M（ModernBERT）	约 6 万 Apache-2.0	社区高赞（约 5.6K 赞，2026-09-18 发布）的文本分类专用模型

11超小边缘模型 <2B

塞进手机 App、浏览器插件、树莓派和单板机。这个段位做不了长对话，但做"输入法联想、函数调用、设备端分类"刚刚好，也是隐私敏感场景（数据不出设备）的唯一解。

模型	许可	定位
SmolLM2 135M / 360M / 1.7B	Apache-2.0	数据、配方全开源的"透明小模型"系列，端侧研究首选
TinyLlama-1.1B 1.1B	Apache-2.0	3T tokens 训出的 Llama 微缩版，老牌玩具/基线
functiongemma-270m-it 270M	Gemma 协议	专攻函数调用的微缩专才，给 Agent 当手
tinydolphin 1.1B	Apache-2.0	TinyLlama 底座的指令微调，Ollama 一键拉取

HW我的机器能跑什么

按公开实测整理的保守估算，区分"权重文件大小"与"运行时实测峰值"两种口径（LLM 默认 Q4_K_M 量化）。个别数值因上下文长度和后端不同会有浮动。

你的硬件	轻松运行	代表数字
CPU / 4 GB 内存树莓派、老旧笔记本	全部 embedding/reranker、Kokoro TTS、faster-whisper、0.5–1.5B 对话、MobileNet	MiniLM int8 约 23 MB；Kokoro CPU 峰值 0.3–1 GB；parakeet 量化约 2 GB
16 GB 内存 / 8 GB 显存主流笔记本、3060 级	7–8B 对话与代码模型（Q4）、Whisper large-v3、SD v1.4、4B VLM	Qwen3-8B Q4 权重约 5.0 GB（运行时 6.5 GB）；Coder-7B Q4 约 4.7 GB；whisper fp16 权重 3.1 GB / 峰值 3.9 GB
12–16 GB 显存 4070 / 3090 级	8B 半精度、SDXL、FLUX.2-klein-4B（INT8/FP8）、星火 X2.6-4B	SDXL 官方建议 8 GB（实测峰值约 7.5 GB）；FLUX.2-klein DiT 约 8 GB，BF16 全链路约 13 GB
16–24 GB 显存 4080 / 4090 级	Z-Image-Turbo 全量、FLUX 3 Image Klein BF16、多模型并行服务	Z-Image-Turbo：16 GB，4090 上 2.3 秒/张；FLUX 3 Klein BF16 11.2 GB
Apple M 系 MacBook / Mac mini	MoE 小模型是最大惊喜：激活参数少、内存占用低	ling-3.0-tiny fp8：8K 峰值 8.34 GiB，86–90 tok/s（第三方 M4 Pro 复现）

NOTE为什么"下载量第一"的都是小模型

三个原因叠加：

1.embedding、ASR、传统底座这类模型本来就只能做小，却服务于几乎所有 AI 应用的后台；

2.0.5–2B 模型被大量用于自动化测试流水线、草稿模型和路由分流，机器拉取推高了数字；

3.Hugging Face 明确提示"下载量不等于使用量"，API 调用和私有部署都不在统计内。

所以看榜单选型时，请把"下载量"当生态成熟度信号，而不是质量排名。

口径备注

· 文中"月下载"为近 30 天口径，"累计"为全时段值，两者已在表中分开标注。各榜单快照日期不同（10-29 至 11-03），同一模型跨月波动可达 ±30%。

· "家族总下载"（如 Qwen 20.45 亿）与"单仓库下载"（如 Qwen3-8B 790 万）不可直接比较。

· 标"—"表示未检索到可靠的近 30 天数据，不代表没人用。

· 参数量与许可以模型发布方模型卡为准；"标称参数"与"实际参数（含视觉/音频塔）"已分开标注。

数据来源

Hugging Face《State of Open Models: Summer 2026 Observations》（2026-08-14）｜Valkyrie Open LLM Trends（2026-10-31）｜The Open Weights 下载榜与点赞榜（2026-10-31）｜OpenModelStats / ModelPulse / Data Race 下载量交叉核验｜各模型官方模型卡、GitHub 与发布博客｜Open ASR Leaderboard（2026-10）｜Artificial Analysis Speech Arena

数据截至 2026-11-03。下载量随快照浮动，选型请以模型发布方最新模型卡为准。本内容由 AI 辅助生成，请遵循相关法律法规及《人工智能生成合成内容标识办法》使用与传播。