8 月 14 日,阿里发布 Qwen3.8-27B,27B 参数在 Artificial Analysis Intelligence Index 拿到 52 分——跟 GPT-5.6 Luna(max)一样,仅比 GLM-5.2(max)和 DeepSeek V4 Pro 0813(max)低 1 分。要知道,GLM-5.2 是 753B 参数,DeepSeek V4 Pro 是 1.7T 参数。一个 27B 的模型跟它们站在同一排,这是开源模型第一次在消费级硬件上追平顶级闭源。
这意味着什么
第一,小模型的效率拐点到了。 27B 追平 1.7T 的智能指数,说明参数量不再是能力的唯一决定因素。训练数据质量、架构改进和推理策略的优化正在让小模型「以小博大」成为常态。
第二,本地部署的门槛真正降到了消费级。 24GB 显存(RTX 5090/4090)可以跑 Q4/Q5 量化版;16GB 显存用 Q4_K_S 量化也能跑;Apple Silicon Mac 可以用 MLX 框架加载。不再需要 A100 集群,你家显卡就能跑一个「准 GPT-5.6 级别」的模型。
第三,数据主权和零 API 费变成现实。 Apache 2.0 协议,可商用。你的代码、你的数据不出本机,没有按 token 计费的心疼,也没有 API 限额的焦虑。对于处理敏感代码或私有数据的企业,这是闭源 API 永远给不了的。
关键跑分
| 明显弱于 Opus 4.6 Max(40.0) |
短板要正视:高难度长推理(HLE)是明显弱项,30.8 vs Opus 4.6 Max 的 40.0。如果你需要模型处理极度复杂的数学证明或超长链推理,Qwen3.8-27B 还不是首选。
现在能不能用、怎么用
硬件要求:
数据来源:bartowski/Qwen3.8-27B-GGUF 仓库实际文件大小,BF16 为分割多文件。
快速部署(llama.cpp):
# 1. 安装 llama.cpp(macOS 用 Homebrew)brew install llama.cpp# 2. 一键下载模型并启动推理服务(Q4_K_M 量化,约 18GB)llama-server -hf bartowski/Qwen3.8-27B-GGUF:Q4_K_M -c 8192 --host 0.0.0.0首次运行会自动从 HuggingFace 下载模型并缓存,后续启动秒开。服务启动后访问 http://localhost:8080 即可使用自带聊天界面。
Apple Silicon Mac 用户: 用 MLX 框架更顺滑:
pip install -U mlx-vlmpython -m mlx_vlm.generate --model mlx-community/Qwen3.8-27B-4bit --prompt "用 Python 写一个快速排序"注意:Qwen3.8-27B 是多模态模型(文本+图片),MLX 端需用 mlx-vlm 而非 mlx-lm。
API 方式: 如果不想本地跑,阿里云百炼平台已上线 Qwen3.8-27B 的 API,按量计费。
实测坑点
1. 默认过度思考。 Simon Willison 专门写了一篇分析:「Qwen 3.8 27B is excellent, but it defaults to wildly overthinking things」。简单问题它会展开几十步推理,既慢又浪费 token。解决办法:在 system prompt 里明确写「直接回答,不要展开不必要的推理步骤」,或在对话中提醒它精简输出。
2. 量化后代码能力有折损。 Q4 量化在编程任务上比 BF16 大约损失 3–5% 的准确率。如果你的主要用途是写代码,建议用 Q5 而不是 Q4。16GB 显存用户选 Q4_K_S(16.71GB)刚好能装下,但质量比 Q4_K_M 再低一档。
3. 262K 上下文在量化下不现实。 理论支持 262K(可通过 YaRN 扩展到 1M),但 Q4 量化下实际能用的有效上下文大约在 32K–64K。需要超长上下文的场景建议用 API 版本。
存疑待确认
Agentic Index 中 51 分的具体测试集构成未在阿里官方公告中详细说明,部分数据来自第三方评估平台 24GB 显卡 Q4 量化跑 8K 上下文的实际推理速度,官方未给出基准数据,需实测确认
💬 你打算用 Qwen3.8-27B 做什么?本地跑还是用 API?评论区聊聊你的硬件配置和使用场景。
如果这篇对你有用,点个「在看」👀,把它推给更多人。 第一时间收到新工具情报 → 关注并「设为星标 ⭐」。
参考链接:
Simon Willison: Qwen 3.8 27B scores 52 on the Artificial Analysis Intelligence Index AI Expert: Alibaba releases Qwen3.8-27B open weights DataLearner: Qwen3.8-27B specs & benchmarks 微博:阿里 Qwen3.8-27B 开源详解 HN: GLM-5.3 Artificial Analysis Benchmarks
本文由 AI 辅助创作,事实信息以文中所附原始链接为准。
夜雨聆风