作者:跑酱er链接:https://www.zhihu.com/question/10664846993/answer/1990461190728589975来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

咱们先把情绪收一收,别上来就搞什么大厂药丸、创业公司吊打一切的二极管言论。
我太知道大厂里面的那些门道了,也太知道DeepSeek这家公司做成现在这样,到底意味着什么。
很多人看不懂,觉得百度、阿里、腾讯,那是要人有人,要钱有钱,要卡有卡。几万张A100、H800囤着,数不清的P8、P9、T10大神坐镇,怎么就被杭州这么个一百多人的小团队,在模型效果上追平甚至赶超了?
这听起来像是个神话,但在我们这些一线干活的人眼里,这其实是必然。
甚至可以说,如果国内真能跑出一个AGI,我大概率押注它不会诞生在大厂,而是诞生在DeepSeek这种极其精简、极其聚焦、且没有任何历史包袱的团队里。
第一点,我想聊聊算力与资源瓶颈。
外界最大的误解,就是觉得大厂算力无限。
你去看财报,大厂每年在基础设施上投入几百亿,但这几百亿不是给一个项目组的。百度有凤巢,阿里有妈妈,腾讯有广告和游戏,字节有推荐流。这些才是大厂的印钞机。
在大厂内部,算力是硬通货,是要抢的。
我给你们讲个真实的场景。假设我在某大厂的大模型团队,我想做一个千亿参数模型的实验,需要验证一个新的Attention机制。这需要多少卡?起步可能就是几百张A800跑几个星期。
你以为我填个单子就能申请下来?
天真了。
首先,我得写PPT。我得向我的Leader汇报,我的Leader得向部门总监汇报,总监得向VP汇报。汇报的核心永远不是这个技术有多牛逼,而是这个实验的ROI是多少。
你能不能承诺,这个实验跑完,我们的模型在某个具体的业务场景——比如智能客服的完单率,或者代码助手的采纳率——能提升几个点?
如果你说,我不知道,这只是一个探索性的基础研究,可能会失败。
对不起,那你去排队吧。公共集群里可能有几十张空闲的卡,你慢慢跑。或者你去跟隔壁做搜广推的兄弟借卡,看人家搭不搭理你。人家的卡那是直接关联着每秒钟几百万上下的收入的。
所以在大厂,算力虽然总量大,但人均可用算力和科研可用算力,其实非常低。而且由于内部的行政壁垒,算力被切割得支离破碎。
反观DeepSeek。
他们是幻方量化背景。梁文锋这个老板,本身就是做量化交易起家的,他太懂概率和算力的关系了。他们早期囤的卡,那是实打实全部砸在研发上的。
DeepSeek的那一万张卡(具体的数大家都在猜,反正不少),是集中在一个集群里,为唯一的目标服务的。
一百多人,一万张卡。
你算算这个人均算力密度。
这就好比,大厂是一支几十万人的正规军,但只有几百门大炮,还得分散守卫几十个城池。DeepSeek是一支特种部队,人少,但手里全是重武器,而且他们只攻一个山头。
你说谁的火力猛?
在这种算力密度下,工程师才敢去试错。DeepSeek的技术报告里,不管是V2还是V3,你看他们对MoE混合专家架构和MLA多头潜在注意力的探索,那是需要大量的实验堆出来的。
在大厂,你试错一次失败了,绩效就花了,年终奖就没了。在DeepSeek,试错是工作的一部分。
这就引出了我要说的第二点,组织架构的熵增与人才密度。
DeepSeek的一百多人,是什么人?
我看过他们的名单,很多都是ACM World Final的常客,IOI的金牌,或者在顶会发过Best Paper的狠人。这些人是顶级特种兵。
大厂也有这样的人,没错。但大厂更多的是什么?
是流程维护者。
在一家几万人的公司里,为了保证不出乱子,必须有复杂的流程。
我想改一行底层的推理代码,来优化一下显存占用。在DeepSeek,可能喊一声,旁边的同事review一下,跑个测试,半天就上线了。
在大厂?
你要先拉会,跟上下游的团队对齐。你要写技术方案文档。你要过架构评审。你要经过测试环境、预发环境、灰度发布。一旦这个改动影响了线上的SLA,比如延迟增加了10ms,你就得回滚写复盘报告。
为了推动这一行代码的改动,我需要花一周的时间在沟通上,写代码只花了10分钟。
这就是大公司病。它不是某一个人的错,它是组织规模大到一定程度后的物理规律。
DeepSeek没有中台,没有复杂的汇报线,没有那些虚头巴脑的OKR对齐会。他们就是一群最聪明的人,坐在了一起,盯着同一个Loss曲线看。
这种智力共振的效果是非常恐怖的。
我记得很多年前,Google的一位大牛说过,一个顶级的工程师抵得上一万个平庸的工程师。在AI算法这个领域,尤其是模型架构设计这个领域,这句话是绝对的真理。
大模型不是靠堆人力堆出来的。你找一千个外包去标数据,那是体力活。但设计出MLA这种能大幅降低KV Cache显存占用,同时还能保持模型性能的架构,靠的是天才的灵光一现和极致的工程落地能力。
这里我要特别提一下DeepSeek在算法创新上的胆识。
咱们看看国内大厂都在卷什么?卷上下文长度,卷参数量,卷榜单分数。
大家都在Follow OpenAI的路线。OpenAI搞了GPT-4,大家就复刻GPT-4。OpenAI没开源细节,大家就猜,或者挖人。
DeepSeek不一样。
DeepSeek V2出来的那个时候,大家都还在死磕Dense模型,或者用最简单的MoE。DeepSeek搞了个DeepSeekMoE,把专家分得更细,还搞了共享专家。
那个MLA(Multi-head Latent Attention)更是神来之笔。
你们知道现在大模型推理最贵的是什么吗?不是计算,是显存带宽。KV Cache太大了,长文本一来,显存直接爆。
大厂的思路通常是:买更多的卡,或者做量化,牺牲一点精度。
DeepSeek的思路是:我从数学原理上改。我通过低秩矩阵分解,把KV Cache给压缩了,但我不牺牲表达能力。
这一招,直接让推理成本下降了一个数量级。
这就解释了为什么DeepSeek的API能卖得那么便宜。人家不是在搞价格战亏本赚吆喝,人家是真的从技术上把成本打下来了。
这在大厂是很难推行的。因为这种改动是伤筋动骨的,需要训练框架、推理框架全套配合。在大厂,这涉及到跨部门协作,涉及到旧资产的兼容。
“哎呀,老王,你这个MLA虽然好,但我们现有的推理引擎不支持啊,要改的话得排期到明年Q3了。”
这句话熟悉吗?多少好的idea就是这么死掉的。
第三点,我们得聊聊关于数据的认知。
大家都在说数据是石油。大厂觉得我有微信的聊天记录,我有百度的搜索日志,我有淘宝的评论数据,我赢定了。
真的吗?
现在的LLM训练,早就不再是简单的“喂越多数据越好”的阶段了。现在是Data Quality is All You Need。
微信聊天记录里大部分是无效的废话、表情包和语音。搜索日志里全是短语和关键词。这些数据如果没有经过极高水平的清洗和配对,喂给模型就是毒药。
DeepSeek在技术报告里非常强调数据质量和合成数据。
他们很早就意识到,互联网上的公有数据快被用光了,高质量的各种垂类数据、推理数据,需要靠模型自己生成,或者靠极高水平的规则去清洗。
而且,DeepSeek对于Scaling Law的理解是非常深刻的。
很多大厂还在盲目堆参数的时候,DeepSeek已经在研究怎么在有限的Token训练量下,让模型效果达到最优,他们是在用科学实验的态度做模型,而不是跟其他厂商打仗。
这里有一个很有意思的现象。你看DeepSeek的论文,非常坦诚。失败的尝试他们也写,成功的细节给得巨详细。
这种开放的心态,反而让他们赢得了开源社区的疯狂支持。
现在的AI发展,开源社区的力量是不容忽视的。DeepSeek把模型权重一扔,全球的开发者都在帮他们测bug,帮他们做周边工具,帮他们做量化版本,帮他们做各种语言的微调。
这种生态势能,是那些把模型捂得严严实实,只肯开放一个高价API的大厂所不具备的。
大厂为什么不敢彻底开源?
因为有顾虑。
一旦开源了,别人就能拿去私有化部署了,那我的云服务怎么卖?我的API怎么收费?我的护城河在哪里?
又是商业模式的包袱。
DeepSeek是光脚的不怕穿鞋的。我先把生态占住,我先把名声打出去。当全世界最好的开源模型是DeepSeek的时候,那些想做应用的开发者,首选就是DeepSeek。哪怕为了稳定用API,也会首选DeepSeek的API。
这叫降维打击。
第四点,咱们得谈谈创始人与企业基因。
我没有在这个行业里见过几个像梁文锋这样低调但又极度硬核的老板。
大厂的AI业务负责人,大多是职业经理人。职业经理人的目标是什么?是KPI,是晋升,是保住位置。
如果今年AI不仅没赚钱,还亏了几十亿,职业经理人是很难跟董事会交代的。
所以大厂的AI战略往往是摇摆的。一会要做大模型,一会要做元宇宙,一会又要降本增效。
DeepSeek是笃定的。
他们就认准了AGI这条路。这种笃定感,会传递给每一个员工。
我在DeepSeek的朋友跟我说,他们在公司里几乎感觉不到外界的噪音。不需要担心下个季度会不会裁员,不需要担心项目会不会被砍。只要你做的事情对AGI有帮助,你就去做。
这种安全感,是创新的土壤。
人在焦虑的时候,是做不出伟大的东西的。大厂的工程师太焦虑了,焦虑35岁危机,焦虑绩效打C,焦虑期权缩水。
而在DeepSeek,大家关注的是Loss为什么不降,这个算子怎么优化,这篇Paper的思路能不能复现。
这才是做技术该有的样子。
再深入一点,我想聊聊“全栈”这个概念。
什么叫全栈?在大模型时代,全栈意味着你不仅要懂算法,你还要懂系统,懂硬件,懂数据,甚至要懂芯片的通信协议。
DeepSeek的技术团队,展现出了一种惊人的全栈能力。
你看DeepSeek V3的训练方案,为了解决大规模MoE训练的通信瓶颈,他们专门设计了一套DualPipe的并行策略,还优化了底层的通信核。
这不仅仅是算法工程师的活儿,这是高性能计算(HPC)专家的活儿。
在大厂,通常算法是算法组,基架是基架组。算法说我要这个功能,基架说这个实现不了。算法说模型慢,基架说你模型设计得不对。
推诿,扯皮。
DeepSeek把这两拨人捏在了一起,甚至很多人本身就是跨界的。懂算法的人必须懂CUDA编程,写CUDA的人必须理解Attention的计算逻辑。
这种跨界融合带来的效率提升是指数级的。
我举个具体的例子。
在训练万亿参数模型时,经常会遇到节点故障。大厂的通用解决方案是Checkpoint(断点续训)。每隔几个小时存一次盘,挂了就回滚。
但存一次盘可能要几十分钟,这期间卡是空转的。
DeepSeek通过深度的系统优化,把这个Overhead(开销)压到了极致。甚至他们能在训练过程中动态地处理故障节点,而不需要整个集群停下来等待。
这些细节,财报里不会写,PR稿里不会写,但这就是为什么人家能用更少的钱、更少的时间,训出更强的模型。
最后,我想说点扎心的。
国内互联网大厂,过去十年太舒服了。
做个App,搞个垄断,收过路费。这种商业模式太容易赚钱了,以至于大家丧失了硬科技攻坚的能力和意愿。
所谓的“高科技公司”,很多时候其实是“高科技应用公司”或者“高科技营销公司”。
我们习惯了拿来主义。国外开源了BERT,我们拿来改改叫某某BERT。国外有了Stable Diffusion,我们套个壳叫某某画画。
DeepSeek给了所有人一记响亮的耳光。
它告诉我们,真正的原创,真正的底层创新,才是核心竞争力。
V3的发布,不仅仅是一个模型的胜利,它撕开了大厂“技术护城河”的遮羞布。原来所谓的护城河,在绝对的技术代差面前,浅得像个水坑。
你说百度没有技术吗?肯定有。腾讯没有牛人吗?绝对多。
但这些技术和牛人,被封印在了错误的组织架构、错误的激励机制和错误的战略方向里。
DeepSeek的成功,是对工程师文化的回归。
它证明了,只要给一群聪明人足够的自由、足够的资源(不需要无限,只要足够)和坚定的目标,他们能创造出奇迹。
这对于我们这些从业者来说,其实是好事。
它会倒逼大厂反思。甚至我听说,很多大厂内部已经开始搞“特区”了,模仿DeepSeek的模式,把小团队剥离出来,给独立预算,去搞突破。
能不能成不知道,但至少大家醒了。
至于DeepSeek未来会怎么样?
有人说他们没有商业模式,迟早要死。
我觉得这种担心是多余的。当你的技术领先到一定程度,商业模式会自动找上门来。OpenAI最开始也没想好怎么赚钱,现在呢?
DeepSeek证明了,在中国,也可以做真正的Foundational Model(基础模型)。我们不需要永远跟在美国人后面吃灰。
这就够了。
对于我们这些还在写代码、调参数的人来说,DeepSeek就像是夜里的一束光。它让我们看到,技术本身是有力量的,是不需要依附于广告系统或者游戏皮肤才能存在的。
这才是最让我激动的地方。
所以,别问为什么大厂干不过DeepSeek了。
因为大厂在算计利益,而DeepSeek在计算未来。
如果你也是这行的,或者想入这行的,多去看看DeepSeek的代码和论文。别光顾着看知乎上的热闹。那里面藏着的,才是我们这个行业的真金白银。
咱们共勉。
夜雨聆风