
一、大语言比你想象的早

22年底似乎被大家认为是AI的起点、AI爆发元年,彼时全世界陷入与ChatGPT交谈的狂热之中。所有人都在凑上这场热闹,科研人员希望利用AI降低自己检索、整理信息的成本;普通人希望通过AI获取生活常识;一时间各大资本也纷纷下场,豆包、元宝、kimi、DeepSeek等一众国产语言类大模型层出不穷。俨然一副第四次工业革命的样子。不过AI的种子似乎比这早的多,光就语言类大模型"发扬光大者"(记住这个说辞)ChatGPT而言,它的诞生就比你想象的早的多:
事实上AI的概念、算法演化也远比你想象的早
1. 史前时代:理论奠基与早期探索 (1950s - 2000s)
思想萌芽:1943年,神经网络的数学基础被奠定;1950年,图灵测试定义了AI的终极目标;1956年达特茅斯会议正式确立了“人工智能”学科。1986年反向传播算法的重新发现,为神经网络训练提供了有效工具。
2. 前Transformer时代:深度学习与词向量 (2000s - 2016)
深度学习的崛起为语言模型铺平了道路。2006年,“深度学习”概念诞生。2012年,ImageNet竞赛的突破,让世界见证了深度神经网络的威力。
词向量(Word Embedding)诞生:Word2Vec(2013)和GloVe(2014)模型的出现是关键飞跃。它们能将单词转化为蕴含语义的“向量”(一串数字),让计算机开始“理解”词语关系。
注意力机制萌芽:研究者发现,人在理解句子时会有重点(注意力)。早期的注意力机制(Attention) 被提出,但当时只能依附于RNN等模型,无法独立工作。
3. 引爆点:Transformer革命 (2017)
2017年,谷歌团队发表了里程碑式论文《Attention Is All You Need》,提出了Transformer架构。
核心创新:自注意力机制:Transformer完全基于自注意力(Self-Attention)机制,能直接关注句子中所有词语的关系,彻底解决了RNN处理长文本时效率低、易“遗忘”的难题。
意义:Transformer奠定了现代大语言模型的基础架构。可以说,ChatGPT里的“T”,指的就是Transformer。
4. 大爆炸:预训练模型时代的两大派系 (2018 - 至今)
Transformer架构引发了“AI大爆发”,模型沿三个主要方向进化。
GPT派(Decoder-Only,自回归):坚持“生成”路线。模型根据已知文本,逐字预测下一个词,像“文字接龙”一样擅长创作。
BERT派(Encoder-Only,自编码):精通“理解”。它通过掩码语言模型(MLM)进行双向训练,能同时参考上下文理解词语。BERT(2018)在语言理解任务上一鸣惊人。但这条路线在生成任务上较弱,后续的RoBERTa、ALBERT等改进模型也未能扭转这一局面。
混合派(Encoder-Decoder):兼具“理解”与“生成”。它既有编码器理解输入,又有解码器生成输出,适合机器翻译等“序列到序列”的任务。代表模型有Google的T5(2019)和清华的GLM。
并不是说同时代只有GPT,而是GPT迅速的搭上了Transformer的车,并且在这场成王败寇的军备竞赛中脱颖而出。


二、vibe coding也比你想象的早
当然,不止语言类大模型,帮助你vibe coding的编程式AI Agent出现的也比你想象的要早。虽然在25年底,claude、codex等产品才逐渐进入大家的视线,但在你未察觉到的时候,它们就已经在蓬勃发展了:
2017年:微软与剑桥大学联合推出DeepCoder,能通过程序合成解决基础编程题目。
2013年:北京大学aiXcoder团队开始研究深度学习代码生成,是国际上最早的研究团队之一,2018年发布产品1.0版。
2014年:Kite成立,专注Python代码AI补全。
2018年:微软发布IntelliCode,基于数千个公共代码库训练,提供上下文感知的智能建议。
2019年:Tabnine(当时称Deep TabNine)问世,是首个集成GPT-2进行代码补全的工具。
2021年6月:GitHub Copilot发布技术预览版,由OpenAI Codex驱动。
2023年:Cursor等基于GPT-4的AI代码编辑器出现。
当然,以上打产品,大都没能广泛的走进大家的工作台,大家熟悉的Claude与Codex,几年前也就开始萌芽:
1. Claude
Claude由人工智能公司Anthropic开发。Anthropic由前OpenAI高管Dario Amodei和Daniela Amodei兄妹于2021年创立,初衷是打造一个更安全、更透明的AI聊天机器人。
2023年3月:Anthropic正式发布Claude 1.0,以信息论之父克劳德·香农命名。
2023年7月:发布Claude 2。
2024年3月:推出Claude 3系列(Haiku、Sonnet、Opus)。
2025年2月:发布Claude 3.7 Sonnet。
2025年5月:推出Claude 4系列。
2026年:持续推出Claude Opus 4.6、4.7等升级版,截至发稿日,Opus 5已经开放使用了:

2. Codex:从代码模型到智能代理的演变
"Codex"在OpenAI的产品线中经历了两代截然不同的形态:
第一代(2021年):代码生成模型
2021年8月:OpenAI发布OpenAI Codex,本质是GPT-3的微调版本,在数十亿行公开代码上训练而成。它也是GitHub Copilot的底层引擎。
初代Codex有120亿参数版本,在159GB Python代码上训练,支持Python、JavaScript、Go等十几种语言。
2023年3月:OpenAI弃用了通过API提供的Codex模型。
第二代(2025年):软件工程智能代理
2025年4月:OpenAI发布Codex CLI,一个可在终端与代码库交互的命令行工具。
2025年5月:推出Codex云端研究预览版,作为运行在云端沙盒中的软件工程代理。其核心模型为codex-1,基于o3架构优化。
2026年:Codex从独立产品演变为通用AI工作台。


三、最后聊聊
现在信息越来越公开透明,无论什么行业,老玩家的优势越来越不值得一提,新玩家的上手难度在"开方级"下降。没有AI的年代,生信同样也有形式的转变,从C++这种基于底层编译型系统级语言的生信程序开发,再到Perl、R语言、Python这类用户友好型高级解释型语言,再到现在的vibe coding直接用自然语言完成编程和分析任务,不是AI带来的行业转变太快,而是行业一直在变化,你却刚刚感受到。


夜雨聆风