第7课：预训练、SFT、RLHF

本课讲的是大模型【从无到有、从能用到好用】的三个阶段。学完之后就能理解为什么大模型会听话、为什么它有价值观、以及财税系统未来做微调时该怎么决策。

01大模型成长三阶段框架

第一阶段：预训练（Pre-training）

→ 大量阅读，学会语言和知识

→ 像小孩从出生到大学毕业

第二阶段：SFT 监督微调

→ 学会"按要求做事"

→ 像大学毕业后的岗前培训

第三阶段：RLHF 基于人类反馈的强化学习

→ 学会"让人满意"

→ 像工作后通过不断反馈变成优秀员工

02机器学习算法分类

专业定义：机器学习按照训练数据的标注程度和学习方式，分为三大范式：监督学习（Supervised Learning）、无监督学习（Unsupervised Learning）和强化学习（Reinforcement Learning）。

白话理解：

监督学习：给答案的学习

→ 例题+答案 → 学生做题

→ 告诉AI"这张发票是专票，答案是可以抵扣"

→ AI从大量例题中学规律

无监督学习：不给答案的学习

→ 只给例题，让AI自己发现规律

→ 给AI看100万篇文章，让它自己理解语言规律

→ 预训练用的就是这种方式

强化学习：通过奖惩学习

→ 做对了给奖励，做错了给惩罚

→ AI不断试错，朝着"得高分"的方向优化

→ RLHF用的就是这种方式

03大模型预训练（Pre-training）

专业定义：预训练是指在海量无标注文本数据上，通过自监督学习目标（如下一个Token预测）对大模型参数进行大规模初始化训练的过程。预训练赋予模型基础的语言理解、知识存储和逻辑推理能力，是后续所有应用的基础。训练数据规模通常在万亿Token级别，计算成本极高。

白话理解：预训练就是让AI【读遍全世界的书】。

预训练的过程：

数据来源：

→ 互联网网页（Common Crawl）

→ 书籍、论文、代码、新闻

→ 维基百科

→ 总量：几万亿个Token

训练方式：

→ 给AI看"增值税专用发票的税率___"

→ AI猜下一个词是什么

→ 猜错了调整参数

→ 重复几千亿次

→ AI逐渐学会了语言规律和知识

训练结果：

→ AI能流利地"说话"

→ 有大量知识储备

→ 但还不会"听人话做事"

预训练的成本：GPT-4预训练：据估计花费超过1亿美元；DeepSeek V3：据报道约600万美元（这是它震惊业界的原因）。

结论：预训练是巨头的游戏，企业不需要、也不可能自己做预训练，企业要做的是在别人预训练好的模型上做SFT微调。

04SFT 监督微调（Supervised Fine-Tuning）

专业定义：监督微调（SFT）是在预训练模型基础上，使用人工标注的高质量【指令-回答】配对数据集，对模型参数进行二次训练的过程。SFT使模型从【能说话】升级为【能按指令做事】，显著提升模型在特定任务上的指令遵循能力和输出质量。

白话理解：预训练后的AI就像一个【知识渊博但不听话的人】——它什么都知道，但你让它做什么它不一定照做。SFT就是【驯化】这个人，教会它按照你的要求来回答。

SFT之前 vs SFT之后：

SFT之前的AI（只做了预训练）：

用户问："帮我写一个会计分录"

AI可能回答："会计分录是会计记录方式，

包括借方和贷方……"

（像在背书，不是在帮你做事）

SFT之后的AI：

用户问："帮我写一个会计分录"

AI回答：

"借：管理费用-办公费1000

贷：银行存款1000"

（直接给你想要的结果）

SFT的训练数据长什么样：

一条SFT训练数据的格式：

指令（Input）：

"以下是一张餐饮发票：金额1000元，税率6%

请生成标准会计分录，并说明能否抵扣进项税"

回答（Output）：

"会计分录：

借：管理费用-业务招待费1060.00

贷：银行存款1060.00

说明：根据《增值税暂行条例》第十条，

餐饮服务进项税额不得从销项税额中抵扣，

因此该56.60元进项税额计入费用。"

→ 这样的数据需要几千到几万条

→ 每条都要财税专家人工审核标注

→ 这就是SFT的核心资产

05RLHF（基于人类反馈的强化学习）

专业定义：RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）是一种结合人类偏好反馈与强化学习的模型对齐技术。通过收集人类对模型不同输出的偏好评分，训练奖励模型（Reward Model），再以奖励模型为信号，使用PPO等强化学习算法对语言模型进行优化，使其输出更符合人类期望、更安全、更有帮助。

白话理解：RLHF就是让AI【学会让人满意】。

RLHF的过程：

第一步：让AI对同一个问题生成多个答案

问题："这张发票应该记哪个科目？"

答案A：管理费用-办公费

答案B：销售费用-业务招待费

答案C：管理费用-业务招待费

第二步：让财税专家给这些答案排名

专家说：C最好，A次之，B最差

第三步：训练"奖励模型"

让AI学会判断哪种回答更好

第四步：用奖励模型指导大模型优化

AI朝着"得高分"的方向不断调整

→ 最终输出越来越符合专家期望

RLHF在财税场景解决的核心问题：

问题1：安全性

没有RLHF的AI可能说有害内容

RLHF让AI学会"什么不该说"

问题2：有用性

没有RLHF的AI可能答非所问

RLHF让AI学会"怎么回答才有帮助"

问题3：真实性

RLHF让AI更倾向于说实话

而不是说"听起来对"但实际错的内容

在财税场景：

RLHF可以让AI：

✅ 遇到不确定的税务问题，主动说"建议咨询专业税务师"

✅ 生成的凭证格式更符合财务人员习惯

✅ 拒绝生成明显违规的财税建议

从海量无标注数据中习得语言规律与通用知识的预训练，是大模型能力的基石；依托高质量财税标注数据实现指令遵循与任务适配的 SFT，是企业 AI 财税系统从通用走向专业的关键一步；而基于人类偏好反馈完成价值对齐、安全合规与体验优化的 RLHF，则是大模型深度融入财税专业场景、契合行业规范与业务习惯的高阶保障。

三阶段层层递进、互为支撑，共同构建起大模型能力迭代的完整闭环，也为企业规避技术投入误区、聚焦核心发力点提供了清晰指引 —— 无需投入巨额成本参与预训练，深耕财税系统 SFT 数据建设、远期稳步探索 RLHF 价值对齐，才是务实高效的落地之道。