乐于分享
好东西不私藏

GLM-5技术报告英中对照版.pdf

GLM-5技术报告英中对照版.pdf

智谱GLM-5 技术报告刚刚发布,以下是技术要点速读。

1️⃣ 核心范式转变

旧范式
新范式
Vibe Coding
Agentic Engineering
人类 prompt
模型自主规划
单轮生成
长周期任务
静态 benchmark
可执行工程环境
👉 目标:让模型从“写代码工具”升级为“工程参与者”。

2️⃣ 规模与架构

总参数:744B
Active 参数:40B
训练 tokens:28.5T
上下文长度:200K
256 Experts MoE
引入DSA(DeepSeek Sparse Attention)
🔹 DSA 的意义
替代 O(L²) dense attention
长序列 attention 计算降低 ~1.5–2×
128K 几乎无精度损失
支持 reasoning-heavy agent
核心思想:

不丢信息的稀疏 attention,而不是窗口裁剪。

3️⃣ 三阶段训练结构

🧠 Base + Mid Training
32K → 128K → 200K 逐步扩展
强化 repo 级软件工程数据
160B tokens 的 issue–PR 数据
🔥 Post Training(四阶段)
SFT(支持 Interleaved / Preserved Thinking)
Reasoning RL
Agentic RL(核心)
Cross-stage Distillation(防能力回退)

4️⃣ Agentic RL:最大创新点

⚡ Fully Asynchronous RL
推理引擎与训练引擎解耦
Rollout 与 update 异步执行
显著减少 GPU idle
支持 1k+ 并发 agent
🔹 稳定性改进
Token-in-Token-out(避免重分词错位)
Direct Double-sided Importance Sampling
超出信赖区间 token 直接 mask
丢弃过旧 off-policy trajectory

工程优先,而非理论完美。

5️⃣ 环境构建能力(真正壁垒)

🛠 SWE 环境
10,000+ 可执行软件工程环境
9 种语言
自动:
🖥 Terminal Agent
自动生成可验证终端任务
多阶段任务合成 pipeline
🔍 Search Agent
自动构建复杂多跳 reasoning 数据
👉 核心趋势:

未来竞争不在“数据量”,而在“环境构建规模”。

6️⃣ 长上下文优化策略

DSA lossless sparse attention
200K mid-training 强化 recall
MRCR-like 数据增强多轮记忆
MTP 参数共享提升 speculative decoding 接受率

7️⃣ 系统级优化(slime 框架)

FP8 rollout 推理
Prefill–Decode 分离
DP-aware KV 路由(保持 cache 局部性)
Heartbeat 异常恢复
目标:

优化长尾延迟,而不是平均吞吐。

8️⃣ 能力表现信号

#1Open Model(LMArena Text & Code)
Intelligence Index v4.0 = 50(首次 open weights 达到)
Vending Bench 2 长期规划能力接近 Claude Opus

9️⃣ 五个趋势判断

异步 RL 将成为 Agent 标配
Lossless sparse attention 将成为长上下文主流
环境规模化构建是核心壁垒
Token-level importance clipping 将替代传统 PPO
“工程一致性”比单次答题更重要

一句话总结

GLM-5 不是更强的聊天模型。它是一个以“工程执行”为中心设计的 Agent 基础模型。

附该报告英中对照版,仅供学习参考,感兴趣的朋友可以关注AINLP公众号回复’GLM5’获取该技术报告英中对照版pdf全文:

感兴趣的朋友可以关注AINLP公众号回复’GLM5‘获取该技术报告英中对照版pdf全文:

进技术交流群请添加AINLP小助手微信(id: ainlp2)

请备注具体方向+所用到的相关技术点

关于AINLP

AINLP 是一个有趣有AI的自然语言处理社区,专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享,主题包括LLM、预训练模型、自动生成、文本摘要、智能问答、聊天机器人、机器翻译、知识图谱、推荐系统、计算广告、招聘信息、求职经验分享等,欢迎关注!加技术交流群请添加AINLP小助手微信(id:ainlp2),备注工作/研究方向+加群目的。

本站文章均为手工撰写未经允许谢绝转载:夜雨聆风 » GLM-5技术报告英中对照版.pdf

评论 抢沙发

4 + 8 =
  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
×
订阅图标按钮