据Gartner最新发布的《2026年全球软件市场趋势报告》显示,基础软件市场规模预计到2027年会超过8500亿美元,而到了那个时候,人工智能驱动的基础软件占整个基础软件市场的比例也会由2023年的12%提升到38%。根据IDC的数据,这个趋势也在不断扩大,在2025年全球企业对于人工智能基础设施和中间件的投资将会以127%的速度增加,远远高于应用软件的发展速度。更为重要的是,Forrester的研究表明,有五年以上基础软件研发经验的技术团队在AI时代获得融资的成功率要比只有AI技术的创业团队高出3.2倍。当看到这些数据的时候,我忽然意识到,在过去的八年里所坚持的事情,终于迎来了最好的时机。
我是张凯,今年45岁了,2018年从某互联网大厂辞职创业,专门做底层的分布式存储系统。移动互联网即将结束的时候,大家都在讨论短视频、直播、社交电商,没有人会关注底层架构。投资人在见面的时候第一句话就是:“你们这个东西太底层了,变现周期又很长,我们不投。”最初的12个人队伍缩减到了只有5个人,账上所剩的钱只能维持三个月的发薪。
但是我知道自己在干什么。从2006年开始进入该行业,在Oracle、阿里云都曾工作过,并且参与到多个核心数据库及存储系统的设计与开发当中。目睹了Hadoop从1.0发展到3.0的过程,也经历了Spark、Flink等计算框架的出现。我知道不管上层的应用如何改变,底层数据存储、调度、通信等基本能力始终都是必需的。但是当时大家都是想要快速致富,并没有人愿意慢慢等待。
转机出现于2024年下半年。ChatGPT引发的大模型潮,使得大家都认识到算力、数据基础设施的重要性。字节跳动、腾讯、百度等大厂都在拼命扩大AI训练集群,但是很快他们就遇到了一个问题:传统分布式存储系统已经不能满足千亿参数模型训练的需求了。数据吞吐量、IOPS、延迟抖动等指标都要从新设计。
这就是我们获得机会的时候。我们的系统一开始就是按“高并发、低延迟、强一致”来设计的。使用的是自主研发的RDMA网络协议栈,并且搭配上了NVMe Over Fabric的技术,在4KB随机读写的情况下,延迟能够保持在20微秒之内,相比传统的SAN存储要低得多,只有它的1/50。更重要的是实现了存储与计算的分离,可以做到PB级数据的秒级快照及回滚,对大模型训练中的checkpoint管理有着很重要的作用。
2024年11月的时候,我们收到了字节的一个POC测试邀请。他们豆包大模型团队要建设一个可以支持10000块GPU并发训练的存储系统,聚带宽要达到2TB/s以上,故障恢复时间要少于30s。用了三个星期的时间完成了部署,测试的结果让他们的架构师也觉得非常惊讶:实际带宽达到了2.3TB/S,单节点故障恢复时间为18秒,整个训练任务的E2E性能提高了40%。
就形成一个机会而言。字节的订单签订完了之后,腾讯、阿里、华为的人就陆陆续续地找过来了。不是来做考核的,而是来谈合作的事情。一位头部券商技术总监直言不讳地表示:“这套系统在金融行业内也十分需要。”核心交易系统的延时、可靠性的要求比AI训练更高,你们能不能做一款专门的?
到2025年3月份的时候,我们已经完成了A轮融资,红杉、高瓴联合领投,公司估值为12亿美元。在会议室里听投资人做尽职调查报告的时候,我觉得好像隔了一层世界一样。2020年不认可我们的人现在主动给我们发消息询问能不能追加投资。行业地位的变化十分显著:Linux基金会邀请我们加入存储技术委员会,IEEE邀请我参加分布式系统大会并作 keynote 演讲,还有一些 985 高校的教授带着博士生来到我们公司进行学术访问。
但是给我带来最大成就感的,并不是上面提到的各种荣誉,而是整个团队的变化。那些在最艰难的时候留下来了的工程师们,现在已经成为了行业的专家。我们公司的首席架构师老王,在大公司里也只是P7级别的水平,但是现在他所设计的RDMA协议优化方案已经被收录到SIGCOMM的文章当中了。95后的李小某,在刚参加工作的时候对分布式一无所知,但是现在可以独立管理PB级集群,并且性能指标比很多一线大厂同行都好。
回过头看,8年来的坚持还是很有意义的。AI时代所需要的不是花里胡哨的东西,而是一些能经得起考验、很扎实的技术。追逐风口的人,在下一个风口来临的时候就会被淘汰,深耕技术的人总会等到属于自己的时代。
按照公司的内部计划,到2026年收入会达到8亿人民币左右,到2027年开始IPO。但是最重要的事情是,我们正在参与新代人工智能存储系统行业标准的制定之中。这也就意味着在未来十年的时间里,全世界范围内的AI基础设施都将会带有我们公司的技术基因。
45岁对于大部分程序员而言已经到了职业生命的末尾。但是对我而言,这才真正开始了。技术的积累是需要时间的,价值的体现也是需要契机的。两者的结合,在AI时代到来之后,也就开启了千亿级别的市场大门。
夜雨聆风