ARTICLE · 1166052
AI 是怎么“练”出来的?从读书到上岗,一篇看懂
AI 是怎么“练”出来的?从读书到上岗,一篇看懂训练大模型的第一步,叫作预训练。 这个阶段,模型从大量文字、代码等资料中,通过预测接下来的内容,学习语言规律和知识。 就像一个学生广泛阅读,数学、文学、编程都接触一些,逐渐打下基础。 这通常是最耗费算力的阶段。但读得多,不代表会当助手:它可能擅长续写,却未必能按你的要求回答。 接下来,可以用高质量的示例进行监督微调。 比如,给模型看这样的示范: 通过许多类似例子,模型逐渐学会遵循指令、组织答案,以及采用合适的表达方式。 这就像新员工接受培训:有了知识基础,还要学习具体任务该怎么完成。 同一个问题,AI 可能给出不同答案。有的啰嗦,有的清楚;有的看似专业,却没有解决问题。 让人类比较这些回答,再利用反馈优化模型,就是RLHF(人类反馈强化学习)的一种典型思路。 它像实习时接受指导:不断调整,让回答更符合人的需求。不过,得到好评也不代表内容一定正确。 如果想让 AI 回答公司的报销政策,最直接的办法,可能是让它先查公司文件,再根据资料回答。这叫RAG,检索增强生成,可以理解为“开卷答题”。 需要最新数据时,还可以让 AI 调用数据库或搜索工具;任务复杂时,再把查询、生成、检查和审批串成流程。 训练让模型学会本领,检索和工具让它获得做事所需的资料与能力。 这也是为什么,打造一个实用的 AI 助手,往往从整理好资料、连接好工具开始。
为什么 AI 不仅知识丰富,还能按照你的要求写邮件、改代码?这背后,可以用“读书、培训、实习”来理解。
预训练:先大量读书
微调:看示范,学会怎么做
用户:帮我写一封请假邮件,语气礼貌,别太长。 理想回答:一封简短、清楚、符合要求的邮件。