夜雨聆风市面上的 AI 教程大多教你调 API。你学会了调 ChatGPT 的接口，却说不清 Attention 到底在算什么。你跟着教程跑通了 RAG，但让你解释 loss 曲线为什么震荡，你卡住了。
AI Engineering from Scratch 解决的正是这个断层。435 节课、20 个阶段、约 320 小时，从线性代数一路走到自主 Agent 系统。每个算法先用纯数学手写一遍，再用 PyTorch 重写一遍。免费、开源、MIT 协议。
上线两个月，GitHub 突破 11,000 star。
这篇文章涵盖什么
- 这个项目是什么、设计哲学
- 20 个阶段的课程结构
- 每节课的统一教学模式
- 每节课都会产出可复用的工具
- 谁适合学、怎么开始
设计哲学：先造轮子，再用轮子
项目的核心理念写在 README 里：
You don't just learn AI. You build it. End-to-end. By hand.
具体来说，每个算法都遵循「Build It / Use It」双轨模式：
- Build It — 用纯 Python（有时是 Julia 或 Rust），不依赖任何框架，从数学推导写出完整实现
- Use It — 用 PyTorch、scikit-learn 等生产级框架重写同一个算法
当你用 PyTorch 的时候，你已经知道它在底层做了什么。
这不是看五分钟视频然后复制粘贴部署。每一课都要：读问题 → 推导数学 → 写代码 → 跑测试 → 保留产出物。
20 个阶段的课程地图
课程严格按依赖关系堆叠。数学是地基，Agent 和生产是屋顶。可以跳过你已经掌握的阶段，但不要跳了又抱怨上面的内容看不懂。
Phase 0 — Setup & Tooling → 环境搭建
Phase 1 — Math Foundations → 线性代数、微积分、概率论、优化
Phase 2 — ML Fundamentals → 经典机器学习（回归、SVM、集成方法）
Phase 3 — Deep Learning Core → 神经网络（感知机到反向传播到自建 mini 框架）
Phase 4 — Computer Vision → CNN、YOLO、Stable Diffusion、ViT、NeRF
Phase 5 — NLP → 分词、Word2Vec、注意力、机器翻译
Phase 6 — Speech & Audio → 语音识别、TTS、音频生成
Phase 7 — Transformers Deep Dive → 自注意力、多头注意力、位置编码、MoE
Phase 8 — Generative AI → GAN、VAE、扩散模型、Flow Matching
Phase 9 — Reinforcement Learning → Q-Learning、PPO、RLHF
Phase 10 — LLMs from Scratch → 分词器、预训练、SFT、DPO、量化、推理优化
Phase 11 — LLM Engineering → Prompt Engineering、RAG、LoRA、MCP
Phase 12 — Multimodal AI → CLIP、LLaVA、视频理解、多模态 RAG
Phase 13 — Tools & Protocols → Function Calling、MCP 协议、A2A、可观测性
Phase 14 — Agent Engineering → Agent Loop、记忆、规划、框架、生产部署（42 节课）
Phase 15 — Autonomous Systems → 长周期 Agent、自我改进、安全栈
Phase 16 — Multi-Agent & Swarms → 多 Agent 协作、群体智能
Phase 17 — Infrastructure → 生产基础设施
Phase 18 — Ethics & Alignment → AI 伦理与对齐
Phase 19 — Capstone Projects → 毕业项目
几个值得注意的亮点：
- Phase 7（Transformers）：从零手写 Self-Attention、Multi-Head Attention、RoPE 位置编码，最后完整搭一个 Transformer
- Phase 10（LLMs from Scratch）：手写 BPE 分词器、预训练 124M 参数的 GPT、实现 RLHF 和 DPO、量化和推理优化，还覆盖了 DeepSeek-V3 架构和 DualPipe 并行
- Phase 13（Tools & Protocols）：23 节课深入 MCP 协议，从基础到安全（OAuth 2.1）到生产部署，还有 A2A 协议
- Phase 14（Agent Engineering）：整个课程最重的阶段，42 节课，从 ReAct Loop 到 Agent Workbench，覆盖 LangGraph、AutoGen、CrewAI、OpenAI Agents SDK、Claude Agent SDK 等所有主流框架
四种编程语言
| 语言 | 用途 |
|---|---|
| Python | 主力语言，覆盖所有阶段 |
| TypeScript | Phase 11/13/14 中的工程实践 |
| Rust | Phase 4（边缘部署）、Phase 6（实时音频）、Phase 10（量化） |
| Julia | Phase 1（线性代数和数值计算） |
不是每种语言都到处用，而是用在最合适的场景。
每节课的结构
每节课都有自己的文件夹，结构完全一致：
phases/<NN>-<phase-name>/<NN>-<lesson-name>/
├── code/ 可运行的实现代码
├── docs/
│ └── en.md 课程讲解文档
└── outputs/ 本节课的产出物
每节课六个环节：
- MOTTO — 一句话核心思想
- PROBLEM — 具体的痛点问题
- CONCEPT — 图解和直觉理解
- BUILD IT — 纯数学推导，不用框架
- USE IT — 用 PyTorch/sklearn 跑同样的东西
- SHIP IT — 产出一个可复用的工具
每节课都会产出可复用的工具
这是这个项目和其他教程最大的区别。别的课程以「恭喜你学会了 X」结尾，这门课以「你现在拥有了一个可以日常使用的工具」结尾。
四种产出物：
Prompts — 粘贴到任何 AI 助手中，获得针对特定任务的专业级帮助
Skills — 可以安装到 Claude、Cursor、Codex、Hermes 等支持 SkillKit 的 Agent 中
Agents — 自主工作者，你在 Phase 14 自己写了它的循环逻辑
MCP Servers — 插入任何 MCP 兼容客户端，Phase 13 从头到尾手写
举个例子，Phase 14 第 1 课「Agent Loop」：
def run(query, tools):
history = [user(query)]
for step in range(MAX_STEPS):
msg = llm(history)
if msg.tool_calls:
for call in msg.tool_calls:
result = tools[call.name](**call.args)
history.append(tool_result(call.id, result))
continue
return msg.content
raise StepLimitExceeded
约 120 行纯 Python，零依赖。产出一个 skill-agent-loop.md（可安装的 Skill）和一个 prompt-debug-agent.md（调试 Agent 的 Prompt）。
学完全部 435 节课，你手里有 435 个你亲手构建、完全理解的工具。
怎么开始
三种方式：
方式 A — 在线阅读。 打开 aiengineeringfromscratch.com，任何已完成的课程可以直接看，不需要克隆仓库。
方式 B — 克隆运行。
git clone https://github.com/rohitg00/ai-engineering-from-scratch.git
cd ai-engineering-from-scratch
python phases/01-math-foundations/01-linear-algebra-intuition/code/vectors.py
方式 C — 定制你的路径（推荐）。 如果你不是零基础，项目内置了 SkillKit 技能，在任何支持的 Agent 中运行：
/find-your-level
十个问题，评估你的知识水平，映射到合适的起始阶段，生成个性化学习路径和预估时间。每完成一个阶段后：
/check-understanding 3 # 测验你对 Phase 3 的掌握程度
谁适合学
- 想真正理解 AI 的开发者 — 不满足于调 API，想知道底层的数学和工程细节
- 转 AI 方向的工程师 — 有编程基础（任何语言），需要系统性的知识体系
- AI 应用开发者 — 已经在用 LLM 但对 Transformer、RLHF、量化这些概念一知半解
- 面试准备者 — AI 岗位面试越来越看重底层理解，这门课覆盖了大部分考点
唯一的前置要求：你能写代码，你想理解 AI 到底是怎么运作的。
和其他学习资源的对比
| 维度 | AI Engineering from Scratch | Fast.ai | Andrew Ng 课程 | 调 API 教程 |
|---|---|---|---|---|
| 覆盖范围 | 线性代数 → Agent 系统 | 深度学习 → NLP | ML 基础 / DL 基础 | LLM 调用 |
| 手写实现 | 每个算法都从零写 | 部分从零 | 概念为主 | 无 |
| 语言数 | 4 种 | Python | Python | Python |
| 产出物 | 435 个可复用工具 | 项目作品 | 证书 | Demo |
| 成本 | 免费 | 免费 | 部分收费 | 免费/付费 |
| 时长 | ~320 小时 | ~30 小时 | ~50 小时 | ~5 小时 |
这不是一门速成课。320 小时的完整路径，相当于一个学期的课程量。但你换来的不是「我用过 PyTorch」，而是「我知道 PyTorch 在做什么」。
值得关注的阶段细节
Phase 10（LLMs from Scratch） 是这门课的精华之一，22 节课覆盖了构建 LLM 的完整链路：
- 手写 BPE/WordPiece/SentencePiece 分词器
- 预训练 124M 参数的 Mini GPT
- 分布式训练（FSDP、DeepSpeed）
- SFT 指令微调 → RLHF → DPO 对齐
- 量化（INT8、GPTQ、AWQ、GGUF）
- 推理优化（KV Cache、Flash Attention、Speculative Decoding）
- DeepSeek-V3 架构解析、MoE、DualPipe 并行
Phase 14（Agent Engineering） 则是目前市面上最全面的 Agent 课程，42 节课覆盖：
- ReAct / ReWOO / Plan-and-Execute / Tree of Thoughts 等核心模式
- 记忆系统（MemGPT、Mem0、Sleep-Time Compute）
- LangGraph / AutoGen / CrewAI / OpenAI Agents SDK / Claude Agent SDK
- Computer Use Agent / Voice Agent
- Agent 安全（Prompt Injection 防御）
- Agent Workbench（从 31 课开始的 12 节连续实战）
作者: itech001 来源: 公众号：AI人工智能时代 网站: https://www.theaiera.cn/ 每日分享最前沿的AI新闻资讯和技术研究。
本文首发于 AI人工智能时代，转载请注明出处。
