Mistral AI:欧洲最强模型团队,打造开源轻量LLM

1. 打造优秀的 LLM 科学家团队

Mistral AI 团队打造了目前市场上最强的小模型，用 7B 模型越级达到了大部分模型 20B 左右的水平。且实际使用时进一步微调的表现也比其他模型更容易学到领域专用知识，得到很多开源和企业使用者的认可。根据 Percy Liang 团队最新 update 的 HELM 模型测评报告，Mistral 7B 的表现甚至超越了 Cohere 52B 的模型：

Mistral 创始团队大部分来自 Google、Meta、Hugging Face，之前领导过 Llama 1&2、Flamingo（Google DeepMind 论文，GPT-4V 外最重要的多模态模型）、Chinchilla（Google DeepMind 论文，建立了模型数据与参数量的标准）、RETRO（Google DeepMind 论文，第一个结合 Retrieval 和 LLM 的大模型）、BLOOM（Llama 1 出现前的最重要开源模型）等重要模型。由于他们有着多模态大模型、检索增强生成（RAG）大模型的丰富经验，有理由期待 Mistral AI 的下一代新模型成为 game changer 的潜力。

2. 开源模型能更灵活地满足企业需求，尤其是欧洲市场

企业端使用 LLM 时考虑的不仅是最前沿的模型能力，还会希望数据安全隐私、控制成本等多种考虑。因此向企业开放的开源模型在很多场景下是更符合企业定制化使用的需求，而 OpenAI 等闭源模型公司并不能完全满足这样的需求。未来的 LLM 市场很可能是开源模型满足基本的智能需求，闭源模型满足高阶的智能需求，两者互补。

同时欧洲企业对新技术 adoption 保守、数据监管严格，且付费能力强，是适合 Mistral AI 使用开源模型获取信任的市场。且 Mistral 的种子轮投资方有很多欧洲大企业，能成为长期合作伙伴。

3. 务实、贴近企业需求的战略路线

Mistral 团队有能力打造 OpenAI、Anthropic 水平的前沿闭源 LLM，但他们选择开放模型交给企业端部署、定制化使用，是符合企业需求的差异化路线。其未来战略 roadmap 有着对企业端需求的深入理解，例如其中提到内容热插拔（context hot-pluggable）的 LLM，就是为企业在不同使用场景进行数据权限控制的定制化，这一需求在大部分在意数据隐私和安全的公司都将非常重要。

Mistral 7B 是 Mistral AI 团队在 9 月底发布的开源模型，尽管在 Llama 2 之后发布，但 Mistral 7B 成为了所有 7-13B 小模型中最有竞争力的模型，在开源社区中话题讨论度比较高。这个模型表现出几个重要特点：

1. 跨级挑战成功的小模型

在大部分 benchmark 上，Mistral 7B 的能力都比 Llama 2 13B 更优秀。例如在语言能力上，MMLU（多语言能力）这个在欧洲市场很重要的能力 Mistral 有着显著优势；在推理能力上，Mistral 也只是小幅弱于 Code-Llama 7B 这个专门在代码场景训练的模型。

2. Low cost, low latency

Mistral 7B 专门为低推理成本和延迟做了优化。整个模型架构中最差异化的亮点为：

• grouped-query attention，能加快推理速度；

• sliding window attention，能够增大 input context，并降低推理成本。

Hugging Face CSO 在推特中以 Summarize.tech 为例，提到他们在实际应用中，使用 Mistral-7B 替代了 GPT-3.5 节省了一大半的推理成本。这代表了 Mistral 的底座模型能够帮助企业平衡模型能力和成本控制之间的 tradeoff，是开源模型中最有竞争力的选择之一。

4. Easy for fine-tuning

尽管 Mistral 9 月底才发布，但是开源社区已经很快推出了很多基于 Mistral 7B 的微调模型，开发者普遍的反馈是 Mistral 7B 很适合根据使用场景进行进一步 fine-tune。

其中比较有代表性的反馈来自 MetaMath 团队，他们原本是开发了自己针对数学场景的开源模型 MetaMath 7B/13B，但最近将 Mistral 发布模型之后将其 base model 切换为了 Mistral 并将自己的数学数据集加入进行微调，得到的效果更优，可见 Mistral 7B 的泛化能力是相当优秀的：

此外，还有三个非常优秀的 mistral AI 微调的模型，都在各类微调模型的 leaderboard 中排名很靠前：

• Multimodal: BakLLaVa-1

• Model fine-tuned on direct preferences: Zephyr-7B-alpha

• Model fine-tuned on generated data: OpenOrca

总的来说，Mistral 7B 已经非常优秀，让人期待他们的下一代模型，可能是 Mistral-13B/70B，能成为开源世界的 game changer。能做到这样优秀的模型，离不开他们优秀的科学家团队。

Mistral AI 是科学家为主组成的团队：团队年轻、研究能力强，技术栈互补且全面，在 LLM Pretrain、Alignment、RL 和 Infra 等环节都有擅长的科学家。其中7人来自Facebook（4位是 Llama 的参与者），3人来自Hugging Face，2人来Deepmind。

大部分都参与过知名 LLM 模型：Llama 1&2、Flamingo（Google DeepMind 论文，GPT-4V 外最重要的多模态模型）、Chinchilla（Google DeepMind 论文，建立了模型数据与参数量的标准）、RETRO（Google DeepMind 论文，第一个结合 Retrieval 和 LLM 的大模型）、BLOOM（Llama 1 出现前的最重要开源模型）等。

有趣的是，Mistral 7B的论文作者中囊括了公司所有成员，商业方向以及助理方向员工亦在作者名单中。其中有6位为偏科学探索方向的 scientist，6位是偏工程实现方向的 engineer，2 位负责 BD 和 GTM。

Mistral AI 的管理层一共四人。其中CEO Arthur Mensch来自Deepmind，参与了Deepmind的多个经典的模型：Flamingo、Chinchilla、Gopher。CTO 和 Chief Scientist分别是Llama & Llama2的核心工程、研究角色（由于离职，并未在Llama2论文中体现）。Chief Business Officer Florian 则由创始顾问，Alan的CEO推荐加入。

CEO：Arthur Mensch

Arthur 加入 Mistral AI 前曾于2020年11月至2023年7月于Deepmind任职三年。Arthur参与了Deepmind的多个经典的模型：Flamingo、Chinchilla、Gopher、RETRO，是其中Flamingo和Chinchilla的核心贡献者。因此，Arthur的研究能力非常优秀。

Arthur的研究领域聚焦于多模态、RAG、LLM，参与的项目都是Deepmind最知名的几大项目。此外并没有很多的职业经历，其履历相比 CEO 更符合科学家的定位。

CTO：Timothée Lacroix

Timothée在读期间即在Facebook实习，从毕业后加入Facebook至离开创办Mistral AI共在Facebook工作八年。Timothée的工程能力很强，是Llama和Llama2的核心技术贡献者。他其他的研究方向聚焦于Inference、Embedding Model。Timothée对Inference cost的管理能力研究很深入，近期有一篇访谈聚焦于Inference cost：https://www.youtube.com/watch?v=mYRqvB1_gRk 。

Chief Scientist：Guillaume Lample

Guillaume与Timothée一样来自llama的核心贡献团队，二位路径亦非常一致，自实习开始就在Facebook。2016年至2023年近7年时间内，Guillaume在Facebook发表多篇重要的学术论文，他的研究方向聚焦于Transformer Architechture、Pretrain、Reasoning。

Chief Business Officer: Florian Bressand

在加入Mistral AI之前，Florian于2005年加入麦肯锡，服务于零售和旅游行业的客户，任职12年。借助客户积累，他于2017年4月加入Mirakl，担任COO。Mirakl是市场上唯一一家可以让B2B和B2C机构规模化建立和发展企业电商平台的SaaS独角兽公司。Mirakl的客户包括许多零售巨头，如Best Buy、Office Depot、Hudson's Bay、Kroger、Express、Urban Outfitters、家乐福、迪卡侬等。同时Mirakl也开拓B2B业务，获得了空客、丰田、惠普等公司的订单。Florian在Mirakl主要负责三个团队：销售、客户成功和战略，见证了Mirakl从B轮到E轮的成长，成为法国的SaaS独角兽。2023年4月，Florian离开Mirakl，经过Board meber Jean的介绍加入Mistral AI。

Florian 之前在 Saas 公司的成功经验会对 Mistral 的 GTM 有很多帮助：

• Mirakl 的业务增速非常迅速，2022年已经保持了3年的40%以上增长。2023年的续订收入达到1.35亿美元。

• 在 Mirakl 的客户结构中，B2C企业依然占大多数，占整体业务的84%。

• Mirakl 不做小B生意，以中型企业和大型企业客户为主。

此外，在 Mistral 董事会和顾问席位上也有几位成功的创业者和公众人物。Alan 是法国最成功的保险公司之一，其 CEO Jean-Charles Samuelian 和 CTO Charles Gorintin 都是 Mistral 的创始顾问，同样还有 Cédric O，前法国数字事务国务秘书。他们的帮助都能为这个科学家为主导的公司进行保驾护航

Lightspeed Venture 的种子轮阵容十分庞大，由欧洲 LightSpeed 领头，法国的 Redpoint、Index Ventures、Xavier Niel、JCDecaux Holding、Rodolphe Saadé和Motier Ventures，德国的 La Famiglia和 Headline，意大利的 Exor Ventures，比利时的 Sofina，以及英国的 First Minute Capital 和 LocalGlobe 也都参与其中。法国投资银行 Bpifrance 和谷歌前首席执行官Eric Schmidt也是股东。接近该公司的消息人士证实，种子轮融资金额为 1.05亿欧元的融资，Mistral AI 的估值达到 2.4 亿欧元，股东占比接近 50%。

其中 JCDecaux Holding 这样的企业战略投资者也是欧洲的内容提供商，他们有可能为获取高质量的数据集打开大门，让 Mistral 的模型可以进行训练和微调。

总的来说，Mistral 的投资人背景是非常 impressive，其中有一些潜在的合作伙伴和社会资源，会为他们长期的商业化路径打下不错的基础。

1. 商业化路径：开源模型的付费客户是谁？

目前 Mistral AI 还没有开始商业化，我们认为未来 Mistral 最佳的 GTM 策略还是服务高价值用户，尤其是欧洲那些开放性、数据安全性和模型能力并重的大企业。其具体的商业化形式可能有三：

• 卖开源模型的定制化版本

在企业实际使用的时候，可能有各种数据 IP 上的顾虑和定制化的需求，Mistral 能够将其修改并卖给企业。

• 标准商业化 api

这一商业化路径与闭源厂商的产品形态接近，开源模型 API/平台目前确实还没有过成功的商业实践，目前这块业务收入最高的应该还是 MosaicML。

• 模型 inference 平台

为企业提供模型 serving、RAG、定制化服务等能力的平台。这一形式接近目前的 model inference infra，但 Mistral 对模型训练的细节，能做更彻底的优化。

这里最大的挑战还是开源模型的商业化：开源模型展现出了满足基本业务需求的能力，是应用层公司为自己、Infra 公司为客户降低成本的重要手段。Mistral 和 Llama 2 都开始有了一定的 adoption，但是还未出现围绕着开源模型好的商业模式， Stability、Mistral 并不能从每一次商业使用中获得收入。未来优秀的小模型可能会继续作为应用公司、工具公司，乃至公有云的生态合作伙伴，但不一定会有高价值的付费。

2. 服务价值差异点：轻量级模型部署难度小，服务价值不明晰

Mistral 有一个战略是开发轻量级模型，可以在边缘端为每个人提供 AI 助手。小模型的部署难度是远低于标准大模型的，可能是未来每个硬件必备的一部分，因此很难产生高客单价高价值的商业模式。Stability AI 就有遇到类似的困难，文生图模型的inference难度不大企业可以自行部署，同时还有很多专业 inference 公司以更低廉的价格提供类似的服务，使他们的营收难以快速 scale。

同时 OpenAI、Anthropic 等公司都有希望能够打造出优秀的小模型，只是他们目前的战略重心还在追求 AGI 上。比如 GPT 3.5 Turbo 其实就是基于之前的 GPT 3.5 和训练 GPT 4 的经验，重新进行训练和 scale down 得到的模型，其效果出色且成本很低。

3. 竞争格局：LLM 领军者和公有云厂商，欧洲市场是否能支撑起独角兽公司

后面将分析到欧洲市场可能有独立的 LLM 机会，但这一判断是存在变数的。欧美之间的文化相似度是最高的，彼此之间比较容易对齐。因此在美国能够发挥价值的大模型迁移到美国也不会有太大的阻碍，并不像其他地区可能还需要价值观的重新 alignment。

同时，各大云厂商在欧洲市场的渗透率已经很高了，很多前面提到的财富500强公司已经 adopt 了公有云。而且 Google Deepmind London 的人才有很大比例来自欧洲，欧洲市场的独立性是有可能被 tech giant 侵蚀的。最近微软也已经宣布了 serve Mistral 模型。

在开源模型层面上， Mistral 最大的竞争对手和变量是 Meta，在 LLM 领域 Meta 近期变得团结且很卷，不容易击败。Meta 的开源和 OpenAI 纷争中人员的流动是最有可能推动技术扩散的。

另一个视角是看欧洲独角兽收入中美国市场的占比：欧洲软件行业的优秀案例是 SAP、 Adyen 和 Hugging Face。欧洲在这些公司的收入百分比中都不是高占比。SAP 收入的 42% 来自美国，43% 来自 EMEA（欧洲、中东和非洲），其中 34% 来自德国；Adyen 收入的 50% 来自 EMEA；Hugging Face 主要收入来自美国。

Mistral AI欧洲市场与美国乃至全球市场比起来，是有着特殊的机遇和挑战的。

根据 EU AI Act 的条例去进行分析，目前市场上的模型安全都尚未满足这一要求，其中唯一基本满足的是 Hugging Face 的 BLOOM 模型，也正是 Mistral AI 团队中两位成员之前领导的项目。对 EU AI Act 的遵守，会是 Mistral 比较大的机遇和挑战。

综上我们期待 Mistral AI 能找到文中关键问题的解法，成为欧洲市场的 OpenAI，推动 LLM技术的开放和落地。