ARTICLE · 1240228

一文说明预训练阶段全解析(Pre-training)

发布时间：2026-10-24 10:00:12 最近访问：2026-10-24 08:45:01

技术背景：预训练在大模型训练中的位置

大模型的“智能”并非一蹴而就，而是经过一条层层递进的训练流水线。这条流水线通常分为三大阶段：预训练（Pre-training）→ 监督微调（SFT）→ 人类反馈强化学习（RLHF）。其中预训练阶段承担了绝大部分知识与推理能力的积累，是整个大模型的“地基”。

大模型技术史上，预训练概念的成熟，与三件事密切相关：

Transformer 架构（2017）
：自注意力机制让模型能够并行、高效地在大规模语料上训练，是预训练可行的算力前提；
自监督学习思想
：无需人工标注，直接从无标注文本中构造“预测任务”，使预训练可以消化海量数据；
规模法则（Scaling Laws）
：系统研究表明，模型参数量、数据量、计算量按一定比例增大时，模型能力稳定提升，催生了“大力出奇迹”的规模化路线。

先看懂本篇文章的“四个阶段”本篇文章围绕预训练范畴下的四个概念展开：①预训练——泛指在无标注大语料上训练通用基座模型；②自监督预训练——预训练所采用的核心学习范式（构造自监督任务）；③持续 / 增量预训练——在已预训练基座之上，用新语料或领域语料继续注入知识；④从头训练（From Scratch）——从头开始、不经任何预训练权重初始化地训练一个模型。

2预训练（Pre-training）：核心原理

2.1 预训练在做什么

预训练的目标，是让一个模型在不含人工标注的纯文本上，通过“自我预测”学会语言背后的统计规律：词汇语义、句法结构、常识与世界知识、长程依赖等。经过预训练得到的模型被称为基座模型（Base Model），它如同一张“白纸之上先打好草稿”，后续微调只需在此之上做轻量对齐。

2.2 自监督：不用标注，任务从数据本身“长出”来

人工标注成本极高且不可规模化，预训练于是采用自监督学习（Self-supervised Learning）：从数据自身构造输入与标签。典型做法是——用句子的一部分（如某个词）作为“答案”，用其余部分作为“题目”，让模型在给定上下文的情况下预测被隐藏的部分，再与真实内容计算损失、反向传播更新参数。

2.3 两大主流预训练目标

按 Transformer 结构的不同演化出两大类预训练目标，分别对应编码器与解码器两条技术路线：

图 2　两类主流自监督预训练目标：(左) 掩码语言建模 MLM；(右) 因果自回归 Next-Token 预测。

掩码语言建模（MLM）· BERT 类

做法
：随机遮盖部分词（[MASK]），模型依据双向上下文预测被遮词。
代表
：BERT、RoBERTa、ELECTRA、DeBERTa等。
目标
：max P(被遮词 | 双向上下文)
特点
：擅长理解/表征，用于分类、检索、信息抽取。

自回归 Next-Token · GPT 类

做法
：给定前缀，预测序列下一个 token，忽略右侧（因果掩码）。
代表
：GPT/LLaMA/PaLM、各类商用大模型。
目标
：max P(token_t | token<t)
特点
：训练与推理目标一致，擅长生成与自由文本。

2.4 目标函数与损失

两者最终都归一为语言建模损失（交叉熵）：对每个预测位置，衡量模型给出的概率分布与真实 token 之间的交叉熵。对整个训练语料，目标是最小化：

ℒ = − 1/T ∑_tlog P( x_t| x_<t)

更直观的统计口径是困惑度（Perplexity）：PPL = e^ℒ，值越低代表模型对语料的“预测确定度”越高，通常被当作预训练进度的关键监控指标。

3自监督预训练：让模型“无师自通”

自监督预训练是预训练段的执行范式。除语言建模外，它在表征学习领域派生出多种任务，理解它们有助于把握预训练的本质。

3.1 技术背景：为何自监督能学到“知识”

语言并非随机符号。词与词之间存在可预测的共现与规律（例如“猫”常与“可爱”“抓老鼠”共现）。当模型被要求反复预测被遮盖或后续的 token 时，它被迫把海量上下文压缩进隐向量，从而隐式地编码了词汇、语法、乃至推理所需的世界常识。这就是自监督预训练“无师自通”的本质——预测本身即是监督信号。

3.2 几类代表性自监督任务

任务类别	做法	代表模型 / 适用
掩码语言建模	遮盖部分词，用双向上下文还原	BERT / 理解型
自回归语言建模	预测下一个 token（因果）	GPT / 生成型
置换语言建模	任意顺序排列，双向建模但避免见自身	XLNet / 生成+理解
对比学习(Contrastive)	拉近同一文本的不同增强视图、推开无关样本	SimCSE / 句向量、检索
去噪自编码(DAE)	输入注入噪声/遮蔽，输出还原干净文本	T5 / 生成型任务

3.3 操作细节：数据如何被“喂”给模型

Tokenization（分词）
：先把文本切成子词单元（BPE / SentencePiece），控制词表规模、压缩序列长度，同时保留对未登录词的鲁棒性；
序列构造
：将多篇文档拼接到固定长度（如 4096–8192 token），加文档分隔符、按批打包（SeqPack），避免大量短序列导致的算力浪费；
采样配比
：不同领域语料（网页、书籍、代码、百科、多语言）按权重采样组成批次，权重直接影响模型能力偏向；
动态掩码
（MLM 类）：每次前向随机化掩码位置，相当于“数据增强”，提升鲁棒性。

3.4 实现效果

通用知识涌现
：无需标注，模型即可习得词汇、语法、常识与一定推理能力；
Few-shot 能力
：规模足够大时，仅给几个示例（in-context learning）即可完成新任务，无需重训；
可迁移
：预训练表征可被下游微调/适配快速复用，显著降低各场景的开发成本。

需要注意自监督预训练学到的是语料分布，而非对错判断或价值观对齐。因此基座模型可能“有知识但不好用”甚至带偏见，这正是后续 SFT / RLHF 及安全评测存在的必要原因。

4规模法则（Scaling Laws）：为什么越大越强

4.1 技术背景

OpenAI 2020 年发表的研究发现：在合理超参下，大模型的测试损失与模型参数量、数据量、计算量之间遵循近似幂律关系。这意味着——只要同步扩大参数量、数据量、计算量，模型能力就能持续、可预测地提升，这就是规模法则（Scaling Laws）。

图 3　规模法则示意：随参数量增大，测试 Loss 按幂律下降（示意曲线）。

4.2 三要素平衡（Chinchilla 法则）

仅“堆参数”而不加数据是浪费的。DeepMind 的 Chinchilla 法则（2022）给出计算最优配比：

参数量 N ∝ 数据量 D ∝ 计算量 C^1/3

即：把参数量与训练 token 数等比放大时，单位计算量下的收益最优。这也解释了 2023 年后业界普遍遵循 “约 20个 token / 参数”的训练配比。

4.3 操作细节与实现效果

操作
：按目标算力预算反推 N、D、C 三者配比，再据此设定批量大小、学习率等；
效果
：损失稳定下降、下游任务随规模提升出现“平台期后的再突破”，并在临界规模附近出现涌现能力（Emergent Abilities）——如多步推理、代码生成、上下文学习等在中小模型上不明显、放大后显著跃升。

规模法则的边界规模法则并非无限有效：受数据质量与总量、架构、训练目标约束；当数据不足或重复时，收益会衰减。这也是近年“数据工程：去重、清洗、合成数据”愈发重要的原因。

5预训练工程化：数据、并行与训练细节

预训练是对数据、算力与工程的全方位工程化。下图给出从数据到基座模型的标准流水线。

图 4　预训练工程化流程：数据采集洗清 → 分词 → 采样 → 分布式训练 → 评估迭代。

5.1 数据工程（决定上限）

去重
：精确去重 + 近似去重（MinHash/LSH），剔除重复样本，防“背题”与过拟合；
质量过滤
：按语言、长度、噪声评分过滤，配合分类器给文档打分；
隐私与合规
：有毒/涉密/版权内容过滤、个人隐私去标识（PII），是企业预训练必须处理的红线。

5.2 分布式训练（决定能不能跑）

并行方式	切分维度	适用场景
数据并行(DP/FSDP)	按数据样本切分，每卡一份完整模型	模型能放下单卡时，最简单常用
张量并行(TP)	把单个大矩阵切到多卡计算	单层超大，NVIDIA Megatron-TP
流水线并行(PP)	按网络层切分，卡间流水调度	层数极深，需处理气泡/调度
ZeRO 显存优化	把优化器态/梯度/参数分片	FSDP 基础，大幅降低显存
序列并行(SP)	按序列长度切分注意力计算	超长序列场景

5.3 训练的“配方”与技巧

混合精度
（BF16/FP16 + FP32 master weights）与梯度累积，兼顾显存与稳定性；
学习率预热（Warmup）
后再峰值，配合余弦衰减至接近零，稳定训练；
大批量 + 通信优化
（梯度压缩、AMP）提升吞吐；
检查点（Checkpoint）
与训练回滚，防止训练发散导致前功尽弃；
持续监控
训练 Loss、PPL 及少量下游基准，早期识别过拟合或发散。

6持续预训练 / 增量预训练（Continual / Incremental）

6.1 技术背景：基座模型也需要“补课”

通用基座模型的知识存在时效性与领域缺口：训练截止时间之后的新知识它不知道，特定行业（医疗、法律、政务、企业私有语料）也覆盖不足。 持续/增量预训练即在基座之上，用新语料或领域语料继续做语言建模预训练，把新知识“注入”模型参数，而不是重新训练整个基座。

6.2 与 SFT/微调的区别

增量预训练

目标
：注入知识与事实，扩广知识面/时效；
数据
：大规模无标注领域/新语料；
任务
：仍是语言建模（next-token）；
效果
：提升领域事实准确性、新知识覆盖率。

监督微调 SFT

目标
：对齐指令遵循与格式，让模型“会听话”；
数据
：规模较小的“指令-回答”成对数据；
任务
：响应与标注参考答案对齐（交叉熵）；
效果
：提升交互体验、任务完成度。

6.3 核心挑战：灾难性遗忘（Catastrophic Forgetting）

只塞入领域新语料继续训练，模型会“记住新东西而忘记旧本事”——领域 Loss 下降的同时，通用能力（常识、通用指令）可能出现回退，即灾难性遗忘。

图 5　持续预训练权衡示意：领域注入使领域 Loss 快速下降，但无重放时通用能力可能回退（灾难性遗忘），带旧数据重放/正则则能保持稳定。

6.4 缓解策略（操作细节）

旧数据重放（Replay）
：在领域语料中混入一定比例原通用语料，是最直接有效的手段；
学习率控制
：持续预训练采用更小的学习率（比首次预训练低 1–2 个数量级），慢速微调避免破坏已有参数；
正则化约束
：EWC / 知识蒸馏 / 与旧模型输出对齐（logit matching），抑制参数偏离原分布；
参数高效方式
：LoRA / 适配器等只更新少量低秩参数，几乎不破坏既有能力，代价是对“深度知识注入”能力有限；
多轮评估
：训练过程中同时监控通用与领域双向评测，动态决定是否值得继续。

6.5 实现效果

在特定领域（法律、医疗、企业制度）知识问答准确率显著提升；
可注入最新时效知识（如新法规、新产品），弥补基座的“截止时间”短板；
相比重新预训练，算力与数据成本大幅下降，是垂直大模型与企业私有化的主流路径。

7从头训练（From Scratch）

7.1 技术背景：为什么还有人“从头”训练

从头训练指随机初始化全部参数、不使用任何现成预训练权重，从零开始预训练。它与“加载开源基座做微调或继续预训练”形成鲜明对比。企业级项目面对的合规、自主可控、数据安全诉求（如信创 / 保密 / 不允许依赖第三方权重），常使其考虑真正“自研”一个基座。

7.2 从头训练 vs 迁移学习（加载预训练权重）

图 6　从头训练与基于预训练权重继续训练的收敛对比示意：迁移继承通用能力，启动快、收敛快、终点通常更优。

7.3 操作细节

随机初始化
：参数在小范围内随机初始化，训练初期 Loss 很高、“什么都不会”；
更大学习率与更长预热
：因为是“从零学”，需要更长的收敛过程与更精细的超参调控；
数据即模型
：从头训练的最终质量几乎完全取决于数据规模与质量，需要海量且高质量的语料；
中间检查点检查
：多轮评估防发散，必要时回滚再训。

7.4 什么场景值得从头训练

场景	判断	建议
追求极致领域/任务性能	有海量专属语料，且迁移收益不足	考虑真正预训练或大规模继续预训练
合规/自主可控/保密	不允许复用第三方权重、需源码级可控	必须从头训练，需充分评估成本
科研探索架构/算法	研究新架构、新训练目标	在小规模上先验证，再放大
预算与数据有限	算力/语料不足以支撑千亿级规模	优先基于开源基座做领域适配，成本更低

务实建议除非有明确的合规自主可控或创新研究诉求，一般企业项目优先采用“开源基座 + 领域继续预训练/微调”路线—— 在成本、周期与效果之间取得最佳平衡。从头训练常作为最终选项并需充分论证。

8四阶段对比总表

维度	预训练(通用)	自监督预训练	持续/增量预训练	从头训练(From Scratch)
技术定位	训练阶段总称	预训练的学习范式	基座之上的知识注入	拒绝复用权重，从零构建
数据	海量无标注文本	自监督任务由语料构造	领域/新时效语料 + 旧数据	海量高质量全量语料
目标函数	语言建模 / MLM	next-token / 掩码 / 对比等	语言建模为主	语言建模 / MLM
初始化	随机	随机	继承现有基座	随机
学习率/成本	中高/高	中高/高	小（比首次低1–2档）/低	大预热/极高
主要风险	过拟合、训练发散	任务与下游错配	灾难性遗忘	成本高、质量依赖数据、周期长
典型产物/用途	Base Model 基座	通用表征/基座	领域模型、时效补全	自研可控基座、新架构研究

9结语与延伸

预训练是大模型能力的总源头。理解这四个概念间的关系，能帮助我们做出更理性的工程选型：

自监督预训练
是把海量无标注文本转化为能力的通用范式；
预训练
是这条范式的落地阶段，产出通用基座；
持续/增量预训练
是在既有基座上低成本地注入新知识与领域知识，是企业垂直化的主流路径；
从头训练
则是面向合规自主与创新研究、但代价高昂的终极选项。

想进一步延伸，可关注：数据回流与合成数据、长上下文（RoPE / 位置插值）、MoE 稀疏化、以及预训练与对齐的协同优化等话题。

相关学习资料