夜雨聆风有了 Transformer 这个强大的"引擎"，OpenAI 做了一件看起来很蠢的事：让 AI 玩"猜下一个字"的游戏。结果这个简单到不行的方法，居然让 AI 学会了推理、写诗、甚至编程。
世界上最简单的训练方法
如果我告诉你，ChatGPT 学会那么多本事，靠的只是一个游戏——
接龙。
就是你小时候玩的那种："今天天气真——" "好！" "好什么——" "好热！"
GPT 的训练目标就是这么简单：给它一段话的前半部分，让它猜下一个字是什么。
"今天天气真___" → "好"（概率最高）
"我昨天去了北___" → "京"
"1 + 1 = ___" → "2"
猜对了，奖励。猜错了，调整。然后再猜，再调整。
就这样，猜了几万亿次。
为什么"猜字"能学会这么多？
大宝听完觉得不可思议："就猜下一个字？那它怎么学会写作文的？"
好问题。
想想看：如果你要准确猜出下一个字，你需要知道什么？
- • "小明把球踢给了小红，___很开心" → 你得知道"她"指的是小红（需要理解代词）
- • "地球绕着太阳转，月亮绕着___转" → 你得知道天文知识
- • "如果 A > B，B > C，那么 A ___ C" → 你得会逻辑推理
- • "床前明月光，疑是地上___" → 你得背过这首诗
为了猜对下一个字，AI 被迫学会了语法、知识、逻辑、甚至文学。
这就是 GPT 最反直觉的地方：一个看起来很"笨"的目标，做到极致之后，涌现出了"聪明"的能力。
从小到大：GPT 的进化
GPT 不是一步到位的。它经历了好几代：
GPT-1（2018）：1 亿参数
- • 证明了"先读书再做题"这个思路是对的
- • 能力有限，只能做简单的文本分类
GPT-2（2019）：15 亿参数
- • 突然能写出像样的文章了
- • OpenAI 当时觉得"太危险了"，不敢公开发布
GPT-3（2020）：1750 亿参数
- • 不需要专门训练，直接告诉它"翻译这句话"，它就能翻译
- • 给它几个例子，它就能学会新任务（Few-shot 学习）
GPT-4（2023）：参数量未公开
- • 能看图、能通过律师考试和医学考试
- • 推理能力大幅提升
你发现规律了吗？每一代都比上一代大 10 倍以上。
涌现：水烧到 100°C 的那一刻
这里有一个特别神奇的现象：
当模型从小变大的过程中，很多能力不是"慢慢变好"的，而是突然出现的。
比如"多步数学推理"这个能力：
- • 10 亿参数：完全不会
- • 100 亿参数：还是不会
- • 1000 亿参数：突然会了
这就像烧水——从 20°C 到 99°C，水看起来没什么变化。但到了 100°C，突然沸腾了。
科学家管这个叫涌现（Emergence）。
没有人"教"GPT 推理。没有人给它编程说"遇到数学题要这样算"。它只是在猜下一个字的过程中，当规模大到一定程度，推理能力就自己冒出来了。
这是 AI 领域最让人兴奋（也最让人不安）的发现之一。 因为它意味着：我们不完全理解 AI 是怎么变聪明的。
Scaling Laws：大力出奇迹的科学依据
2020 年，研究者发现了一个规律：
模型的能力跟它的规模（参数量、数据量、计算量）之间，存在一个可预测的数学关系。
简单说就是：模型大 10 倍，能力就强一截。而且这个提升是可以预测的。
这给了 OpenAI 巨大的信心——不需要发明新算法，只要持续加大规模，AI 就会持续变强。
所以他们的策略很简单粗暴：造更大的模型，喂更多的数据，用更多的 GPU。
这就是为什么训练 GPT-4 据说花了超过 1 亿美元——大部分钱都花在了算力上。
🧪 动手实验：玩"接龙游戏"
准备： 能用 ChatGPT 或任意 AI 对话工具
玩法 1：你来当 GPT
- • 让家人说一句话的前半部分，你来猜后半部分
- • 比如："今天放学后我想去——" 你猜什么？
- • 试 10 次，看你能猜对几次
玩法 2：测试 AI 的接龙
- • 给 AI 一个开头，让它续写："从前有一座山，山上有一座庙——"
- • 试试不同的开头，看 AI 续写的质量
- • 故意给一个很奇怪的开头（"香蕉穿着西装去上班——"），看它怎么接
玩法 3：感受"涌现"
- • 问 AI 一个简单数学题："3 + 5 = ?" → 秒答
- • 问一个多步推理题："小明有 3 个苹果，给了小红 1 个，又买了 2 个，现在有几个？" → 还是能答
- • 问一个更复杂的："如果每天吃 2 个苹果，一周后还剩几个？" → 它需要"推理"了
思考： 为什么"猜下一个字"的训练，能让 AI 学会做数学题？
👨👩👧 亲子挑战（8-12 岁 + 家长）
"人类 vs AI 接龙大赛"：
- 1. 准备 10 个句子开头（混合简单和困难的）
- 2. 家长和孩子各猜一次，AI 也猜一次
- 3. 让第三个人当裁判，评价谁接得最好
讨论：AI 接龙跟人类接龙有什么不同？它什么时候比你强？什么时候比你弱？
🤔 深度思考题（12-16 岁）
- 1. GPT 只是在"猜下一个字"，但它似乎"理解"了很多东西。"猜测"和"理解"之间有区别吗？一个能完美预测下一个字的系统，算不算"理解"了语言？
- 2. 涌现能力意味着我们不完全理解 AI 是怎么变聪明的。这让你觉得兴奋还是担忧？为什么？
- 3. 训练 GPT-4 花了超过 1 亿美元。如果只有少数几家公司能负担这个成本，这对 AI 的发展意味着什么？
🧠 想知道这些题的答案？
每道题都有详细的参考思路和延伸讨论。
关注公众号「大鱼北游」，回复「答案5」免费获取本篇完整解析。
下一篇预告
第 6 篇：「ChatGPT 为什么突然火了？——一个关于"训练小狗"的故事」
GPT-3 已经很聪明了，但它像一个不听话的天才——你问它问题，它可能给你写首诗、讲个笑话、或者胡说八道。ChatGPT 是怎么把这个"天才"变成"听话的助手"的？答案跟训练小狗的方法惊人地相似。
觉得有启发？点个「在看」让更多家庭看到 👀
转发给身边有娃的朋友，一起搞懂 AI 🚀