夜雨聆风大模型为什么爱胡编？因为你没给它参考资料
去年一个做法律咨询的朋友跟我吐槽。
他们接了一个客户，用大模型写了一份合同。客户还挺满意，直到法务看了一眼——引用了一条根本不存在的法规，还煞有介事地标了条文号。
"中华人民共和国合同法第488条"——合同法一共就428条。
这不是大模型蠢。是它被问了一个它不知道的事，然后它硬着头皮答了。
大模型不会说"我不知道"。它会编。而且编得特别像真的。
这就是AI产品最头疼的问题：幻觉。而RAG就是目前解决幻觉最靠谱的方案。
模型为什么胡说？打个比方你就懂了
假设你参加一场闭卷考试，题目是"请论述2026年中国AI监管政策的最新变化"。
你没复习过这个。但你是学霸，你博览群书，你的语言组织能力一流。你会怎么做？
你会根据自己知道的相关知识，组织一篇逻辑通顺、引经据典、看起来特别专业的答案。
唯一的缺点：里面大部分"事实"是你编的。
这就是大模型。它不是在说谎，它是在做自己最擅长的事——生成一个"概率上最通顺"的回答。至于对不对，它自己也不知道。
RAG做的事很简单：把闭卷考试，变成开卷考试。
RAG怎么让模型"先查再答"？
四个步骤，记住就行。
第一步：用户提问。 "我们的退货政策是什么？"
第二步：去知识库检索。 不是让模型凭记忆回答，而是先去你公司的文档库、FAQ、产品手册里搜——找出跟"退货政策"最相关的几段文字。
第三步：把查到的资料塞进提示词。 "以下是公司的退货政策：……请根据以上内容回答用户问题。"
第四步：模型生成回答。 这时候模型不是在"回忆"，是在"照着资料读"。
整个过程，模型只负责两件事：理解问题去查什么，把查到的东西用自然语言说出来。它不需要"知道"你的退货政策是什么——你只需要确保知识库里有这个信息。
RAG的本质，是把模型的"记忆力问题"变成了"搜索能力问题"。
RAG vs 微调：一个经典选择，PM必须会判断
这是AI PM面试必考题，也是实际工作中天天要做的决策：这个场景该用RAG还是微调？
我用一个比喻帮你彻底搞懂。
RAG是开卷考试。 你给模型一堆参考书，它遇到问题就去翻。优点：知识可以随时更新——你往书架上加一本新书，模型马上就能查。缺点：每次回答问题都要翻书，速度慢一点，而且依赖检索质量——书架上全是垃圾书，查出来的也是垃圾。
微调是考前刷题。 你把特定知识反复"喂"给模型，让它内化。优点：回答速度快，不需要现场翻书。缺点：喂进去的知识是"冻"在模型里的，你要更新知识就得重新训练。而且成本高——微调一次，几千到几万不等。
PM决策口诀：
一句话：知识经常变的用RAG，知识固定的用微调，两者不冲突——高级玩法是微调+RAG双打。
PM用RAG最容易踩的三个坑
坑一：知识库是垃圾，检索出来的就是垃圾。
很多团队上了RAG，觉得万事大吉。用户一问，模型答得牛头不对马嘴。一查，知识库里的文档格式乱七八糟——PDF扫描件、没整理过的会议纪要、三年前的过期SOP。
RAG的前提是你有一个干净的知识库。文档要有结构、有标题、有更新时间。这不是算法的事，是PM的事。
坑二：切块（Chunking）瞎切。
RAG不是把整篇文档丢给模型——是把文档切成小块，检索时找出最相关的几块。
切太小（每块100字），信息碎片化，模型看不懂上下文。切太大（每块2000字），检索精度下降，不相关的内容也混进去了。
一般经验是300-500字一块，具体看文档类型。FAQ类可以切小一点，政策文件类切大一点。
坑三：只检索不排序。
检索回来10个文档块，全塞进提示词？第一，窗口装不下。第二，最相关的可能排在最后面。
好的RAG系统一定有多级排序——先用快速检索筛出候选，再用精确模型排优先级，最后只把最相关的3-5块喂给模型。
这三个坑的本质是一样的：以为RAG是技术问题，其实RAG是产品问题。
知识库质量、切块策略、排序逻辑——都是PM应该参与设计的，不是丢给算法就完事了。
一个PM可以立刻动手的RAG实验
你不用等算法搭好RAG系统再验证。用现有的对话产品就能做原型测试。
打开DeepSeek或你司的AI对话工具，手动模拟RAG：
准备一段产品说明文档（500字以内） 在提示词里写："以下是我们产品的说明文档：[粘贴文档内容]。请根据文档回答用户问题，如果文档里没有的信息，请说'我暂时无法确认'。" 开始提问："这个产品支持哪些支付方式？""退款流程是什么？""有没有会员体系？"
你会发现：只要文档里有答案，模型基本都能答对。文档里没有的，模型大概率会编——这时候兜底提示词（"说不知道"）就特别重要。
这个实验花10分钟，但能帮你直观理解RAG的能力边界。下次跟算法聊RAG方案时，你是有体感的，不是凭空想象的。
下期预告：第16期「微调——什么时候需要"教"模型新知识」，SFT和LoRA是什么？微调到底要花多少钱？
既然看到这里了，如果觉得不错，随手点个赞、在看、转发三连吧，如果想第一时间收到推送，也可以给我个星标🌟
谢谢你看我的文章，有缘再见～❤️