乐于分享
好东西不私藏
夜雨聆风 > > 办公文件 > 【AI Agent】第2期:大模型的认知

【AI Agent】第2期:大模型的认知

当前时间： 2026-08-11 12:23:03 分类：办公文件 评论(0)
【AI Agent】第2期:大模型的认知
个人学习，仅供参考。

人工智能AI（Artificial Intelligence）发展史：从计算智能到生成式AI

AI技术发展关键节点
1950年代：早期AI萌芽；
1980年代：传统机器学习阶段；
2017年：Transformer架构发布；
2018-2020年：大模型规模化爆发；
2022年：生成式AI全民普及；
2023年：多模态与国产崛起。
大模型全称大语言模型（Large Language Model，LLM），是基于深度学习与自然语言处理技术的AI模型。它通过对海量文本数据进行预训练，学习人类语言的语法、语义、逻辑与知识规律，从而具备强大的语言理解、内容生成与逻辑推理能力。
★基座大模型≠AI对话产品：GPT是模型，而chatGPT是产品；deepseek-v4-pro是模型，而DeepSeek是产品。
大模型的完整训练流程
  • 阶段1：预训练（Pre-training）
使用海量文本数据（书籍、网页、文献等)进行无监督训练，学习语言的统计规律、常识知识与基础逻辑。
  • 阶段2：监督微调（SFT，Supervised Fine Tuning）
使用高质量的人类标注对话数据、垂直领域专业数据，对基座模型进行小规模微调。
  • 阶段3：人类反馈强化学习（RLHF）
针对同一问题让模型生成多个回答，由人类标注员进行排序打分；基于打分数据训练奖励模型，再通过强化学习算法优化大模型，让输出更贴合人类偏好。
大模型如何生成
大模型生成内容的核心逻辑是基于上下文预测下一个词的概率，本质是“概率填字游戏”，而非真正“理解”语义。
通俗原理
  1. 大模型阅读人类曾说过的所有的话。这就是机器学习，这个过程叫训练。
  2. 把一大串token后面跟着的不同token的概率记下来。记下来的就是参数，也叫权重。
  3. 当我们给它若干token，大模型就能算出概率最高的下一个token是什么。这就是生成，也叫推理。
  4. 用生成的token，再加上上下文，就能继续生成下一个token。以此类推，生成更多文字。
Token是大语言模型处理文本的最小信息单元，它不是固定的“一个字”或“一个词”，而是基于语料统计的最优分词结果。
Token对我们的影响
  1. 上下文窗口限制：每个大模型都有最大Token数，代表一次会话中模型能记住的所有输入+输出的总长度。超出限制后，模型会遗忘更早的对话内容。
  2. 计费依据：大模型API通常按照Token数量计算，输入与输出Token分别计价。