AI 是怎么变 "听话" 的？

模型怎么变 "听话"？靠后训练三道工序：
①SFT，拿人写的问答示范教它好好答；
②偏好对齐，两个答案挑一个，RLHF/DPO 都干这个；
③强化学习，拿对错当奖励，练出长思考。
基座是毛坯房，后训练是装修。
13 亿参数模型比 1750 亿参数基座更讨喜，分寸感也是教出来的。
#AI #大模型 #后训练 #科技科普