当一个开源项目从学术论文走向生产环境,被部署在超过40万张GPU上、每天处理数万亿token时,它便不再只是代码——它已成为整个产业赖以运转的“基础设施”。而孕育这种基础设施的,是一群被开源“养大”的构建者,以及围绕他们形成的全球化协作生态。
一、被开源“养大”的一代
这一代AI基础设施的构建者有着独特的技术基因。他们成长于开源社区的协作文化之中——代码公开、思想共享、协作无边界。一位曾在全国信息学奥赛摘银、后攻读博士的技术精英,在多次尝试后得出结论:自己无法勉强做不感兴趣的事,只有被问题真正吸引才能进入高度专注状态。这种自我认知引导她从纯粹的形式化验证转向更贴近现实的工程领域。
谷歌“AI for Code”的实习成为关键转折——她开始将数学视为解决工程难题的“利器”,而非终极目的。从“证明”到“构造”的转向,意味着将严谨的数学逻辑编码为可执行、可服务亿万用户的系统现实。调度算法被形式化证明后直接映射为调度器逻辑,计算图通过数学等价变换重构以最优适配底层硬件——代码执行的每一步,都是数学约束的物理映射。
被开源社区“养大”的经历,塑造了一种近乎信仰的认知:技术应该是平权的,知识的壁垒应当被打破而非垄断。
二、产业拼图中的系统观校准
要构建这种映射关系,需要完整的“系统观”。这种系统观在截然不同的职业经历中逐步校准:在顶级科技巨头探索“用AI辅助编程”,在“登月工厂”接触颠覆性构想,在量化机构窥见高度系统化的运作模式,在AI独角兽中从0到1搭建生产级推理系统——每一段都是拼图,拼凑出“如何将前沿理论转化为工业级产品”的完整认知。
这些经历最终凝结为一个核心判断:AI的瓶颈正在从“训练”转向“推理”。业界预测推理算力需求将占总量的70%到80%,谁能让token更便宜、更快,谁就掌握了AI应用爆发的开关。
三、从论文到事实标准
要将这个判断转化为产业现实,需要跨越三重门槛。
第一重是技术门槛。 一个开源推理引擎通过RadixAttention技术——用基数树组织KV缓存,实现令牌级精细化管理——在复杂场景下吞吐量比同类方案高出近30%。任何新模型发布当天都能获得原生支持的“Day-0”兼容性,背后是极强的工程纪律和对社区需求的快速响应。
第二重是兼容性门槛。 当谷歌、微软、英伟达、xAI等巨头纷纷采用,社区贡献者从四面八方涌入,项目完成了从“技术方案”到“基础设施”的质变——不再属于任何个人或公司,而成为整个行业共同维护的公共资产。
第三重是生态门槛。 最耐人寻味的是围绕这一开源项目形成的协作生态。多家在商业上互为竞争对手的巨头罕见联手投资——1亿美元种子轮融资,投后估值4亿美元。对于算力龙头,要确保该引擎在自家硬件上运行最优;对于追赶者,需要一个中立且强大的开源标准来打破对手的生态垄断;对于整个产业,急需一个高效的“翻译官”将不同硬件的潜力榨到极限。
四、开源推理引擎的竞争图谱
当前开源推理引擎领域已形成清晰的竞争格局:
“双子星”领跑。 SGLang(由RadixArk商业化)与vLLM(由Inferact商业化)并列为开源推理引擎的“双子星”。SGLang由UC Berkeley的LMSYS组织开发,在GitHub积累27K+ stars;vLLM团队则于2025年11月成立Inferact,以8亿美元估值完成1.5亿美元种子轮融资。
巨头自研引擎。 NVIDIA TensorRT-LLM是专为NVIDIA GPU优化的开源推理加速库;Hugging Face TGI是用Rust构建的生产级推理引擎,驱动着Hugging Face的推理端点。
轻量与端侧引擎。 llama.cpp以C/C++实现,支持CPU、GPU及多种国产芯片后端;LMDeploy的TurboMind引擎由C++和CUDA开发。
云厂商开源方案。 Google开源了TPU Raiden和LiteRT-LM;AWS开源了LISA和NxD Inference;微软则有Windows ML和DeepSpeed-FastGen。
推理服务平台。 Together AI以83亿美元估值完成8亿美元C轮融资;Fireworks AI由前Meta PyTorch核心成员创立;Baseten每日处理超10亿次推理调用;Anyscale基于Ray框架提供分布式推理服务。
五、开源社区的深层挑战
当开源项目从学术玩具成长为支撑万亿级token的基础设施,新的矛盾随之浮现。
治理挑战。 用户从几百人增长到覆盖全球头部公司,决策机制、质量控制、方向制定需从“精英治理”转向“社区治理”。如何平衡核心开发者愿景与社区多样化需求,是任何成长中的开源项目都必须面对的问题。
商业化悖论。 开源商业化公司需要在“保持开放”与“实现盈利”之间走钢丝——闭源过多核心功能,社区离心离德;完全开放,又难以支撑商业运营。
竞合关系。 同一赛道多个优秀开源项目并存——它们共享大量技术内核,API高度兼容,真正竞争转向调度策略、社区活力和生态整合能力。
六、开源与闭源的共生逻辑
开源与闭源并非零和博弈,而是深度共生关系。底层硬件依赖闭源指令集——开源引擎必须调用CUDA等闭源接口才能让GPU工作;同时,开源引擎是硬件的“最佳广告”,硬件巨头主动投资维护开源项目。
创新速度与稳定性形成“前后端”分工:开源负责“0到1”的前沿探索,迭代以天甚至小时计算;闭源负责“1到N”的商业落地,进行深度加固并提供SLA保障。客户愿意为“稳定不出错”的托管服务付费,收入反哺开源社区研发。
开源负责做大蛋糕——降低门槛、吸引开发者、统一接口标准;闭源负责切分蛋糕——提供企业级增值服务、差异化硬件绑定。没有开源的“广”,闭源将陷入技术孤岛;没有闭源的“钱”,开源将缺乏长期维系资源。
七、打造AI时代的“公共品”
超越商业竞争,开源社区的真正价值在于重新定义AI基础设施的权力结构。传统技术权力集中在拥有最大私有集群的少数巨头手中。开源模式让知识、代码、调度能力变得可获取、可复制、可改进。下一代AI不应由“谁拥有最大的私有集群”来定义,而应让每个开发者都能拥有自己的模型、自己的系统、自己的未来。
开源社区曾经是技术理想的代名词——一群志同道合者在网络上协作,不为金钱,只为创造更好的代码。而在AI时代,开源社区已演变为整个产业的基础设施引擎。
那些被开源“养大”的一代构建者,如今正用同样的方式回馈世界:将严谨的数学逻辑编码为开源代码,将复杂调度算法贡献给公共领域,将决定AI格局的权力从少数巨头手中交还给每一个创造者。在代码和集群中搭建AI赖以生存的“水电煤”,并将它开源给全世界——这或许正是当下对“推动技术平权”最生动的注解。
撰稿人:科小萌智库研究员
夜雨聆风