乐于分享
好东西不私藏

[总结][Pytorch 系列][传统软件工程师转行 AI 需要掌握的一千个知识点]

[总结][Pytorch 系列][传统软件工程师转行 AI 需要掌握的一千个知识点]

经典模型+pytorch知识

一手理论+一手实践→天下我有

列个提纲,一壶酒,一个手机,上班路上一小时,一写写一年👌🥊🥊

没有牛逼的人,只有坚持到底的人

这篇文章估计要写好久…

不对,写一点,发一点

简单,才足以坚持,坚持才足以完成

总结
cuda向左
pytorch向右
断断续续写完 pytorch 系列和 cuda 系列
→对比一下,感觉学到了很多东西
cuda 纯纯面向的是硬件向的
      从硬件角度向上去解问题
pytorch 纯纯面向 的 模型向的
     从模型角度向下去解决问题
思考问题的角度不同→→导致分化出巨大的差异
没有绝对的对错,各自有各自的领域,各自的局限
自在果壳之内 以为无冕之王
没有银弹!!!
日拱一卒,功不唐捐
掌握科学方法,坚持己见!
沿着一个方向,
    探索前进  >> 停滞不前
人们总是高估坚持的短期内效果,低估坚持的长期影响,低估坚持对个人的长期命运影响
Pytorch→工具 torchVersion等
[工具、插件等][Pytorch 系列][传统软件工程师转行 AI 需要掌握的一千个知识点]
Pytorch→混合精度
[混合精度][Pytorch 系列][传统软件工程师转行 AI 需要掌握的一千个知识点]
Pytorch→分布式训练、推理
[分布式训练与推理][Pytorch 系列][传统软件工程师转行 AI 需要掌握的一千个知识点]
Pytorch→基础调试与可视化
[基础调试与可视化][Pytorch 系列][传统软件工程师转行 AI 需要掌握的一千个知识点]
Pytorch→模型保存与加载
[模型保存与加载][Pytorch 系列][传统软件工程师转行 AI 需要掌握的一千个知识点]
Pytorch→训练循环、验证循环 epoll
[训练循环][Pytorch 系列][传统软件工程师转行 AI 需要掌握的一千个知识点]
Pytorch→优化器
[优化器][Pytorch 系列][传统软件工程师转行 AI 需要掌握的一千个知识点]
Pytorch→数据管道
[数据管道][Pytorch 系列][传统软件工程师转行 AI 需要掌握的一千个知识点]
Pytorch→评估指标
[损失函数][Pytorch 系列][传统软件工程师转行 AI 需要掌握的一千个知识点]
Pytorch→损失函数
[损失函数][Pytorch 系列][传统软件工程师转行 AI 需要掌握的一千个知识点]
Pytorch→网络层,激活函数
[网络层,激活函数][Pytorch 系列][传统软件工程师转行 AI 需要掌握的一千个知识点]
Pytorch→模型构建,nn.Module
[模型构建,nn.Module][Pytorch 系列][传统软件工程师转行 AI 需要掌握的一千个知识点]
Pytorch→自动求导
[自动求导][Pytorch 系列][传统软件工程师转行 AI 需要掌握的一千个知识点]
Pytorch→设备管理
[设备管理][Pytorch 系列][传统软件工程师转行 AI 需要掌握的一千个知识点]
Pytorch→张量
Pytorch 系列[张量][传统软件工程师转行 AI 需要掌握的一千个知识点]
200人 老黄口中的200人
老黄(黄仁勋)口中的 200 人[传统软件工程师转行 AI 需要掌握的一千个知识点]
具身智能
具身智能[传统软件工程师转行 AI 需要掌握的一千个知识点]
自动驾驶路线简述
自动驾驶路线简述[传统软件工程师转行 AI 需要掌握的一千个知识点]
模型测评
模型测评[传统软件工程师转行 AI 需要掌握的一千个知识点]
MCP
MCP[传统软件工程师转行 AI 需要掌握的一千个知识点]
上下文工程 or RAG
上下文工程 or RAG[传统软件工程师转行 AI 需要掌握的一千个知识点]
vLLM  FlashAttention
vLLM & FlashAttention[传统软件工程师转行 AI 需要掌握的一千个知识点]
Jupyter &&  开发框架:Pytorch CUDA
Jupyter  & Pytorch[传统软件工程师转行 AI 需要掌握的一千个知识点]
CUDA 编程
CUDA[传统软件工程师转行 AI 需要掌握的一千个知识点]
GPU
GPU[传统软件工程师转行 AI 需要掌握的一千个知识点]
开源模型
LLaMa - 开源模型[传统软件工程师转行 AI 需要掌握的一千个知识点]
世界模型
世界模型[传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络]
Mamba
Mamba(线性注意力)【传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络】
MoR
传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→MoR
神经辐射网络
传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→神经辐射网络
RLHF
传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→RLHF
COT 思维链
传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→思维链

DeepSeek R1

传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→强化学习 DeepSeek :R1

强化学习

传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→ 强化学习 Q-Learning、DQN、PG、PPO

多模态

传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→ 多模态 CLIP

Diffusion

传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→ 扩散模型 Dissfussion  DDPM

GPT 系列

GPT1  GPT2 GPT3  GPT3.5 GPT4

终于到了这个跨时代的GPT了,足以记录在人类文明史的一页

GPT1

传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→ GPT1

GPT2 、GPT3

传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→ GPT2、3

GPT3.5 、GPT4

传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→ GPT3.5、4

Transformer传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→ Transformers

GAN

传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→ GAN

AlphaGo

传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→ AlphaGo

ResNet

传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→ ResNet

CNN AlexNet VGG 

传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→ CNN AlexNet VGG

VAE

传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→ VAE

深度信念网络

传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→深度信念网络

集成学习(主导了十年)

RNN Lstm传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→RNN

CNN Lenet-5传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→CNN

Hopfield网络&&玻尔兹曼机传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→ Hopfield网络&玻尔兹曼机

反向传播传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→反向传播

多层感知机

传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→多层感知机

感知机

传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→感知机

MP 神经元

传统软件工程师转行 AI 需要掌握的一千个知识点→神经网络→MP神经元