AI面试百问

随着 LLM 上下文窗口越来越大（如 100K+ tokens），RAG 是否还有必要？ 直接将所有文档放入上下文窗口与使用 RAG 相比，各有什么优劣？
长上下文模型并不会完全取代 RAG，但会改变 RAG 的定位。对比如图。
适用场景建议
• 选择长上下文：适用于知识库较小（< 200K tokens）且相对稳定，且需要深度理解全文的场景（例如分析一份合同、总结一组会议纪要）。
• 选择 RAG：适用于大规模知识库（百万级文档）、成本敏感、需要实时更新知识、以及需要精确引用来源和可溯源的场景。
未来趋势
未来的趋势是两者结合：先用 RAG 从海量数据中检索粗筛出最相关的文档，再在较大的上下文窗口中对这些精选内容进行精细分析和深度理解。#RAG #后台面试 #AI