图片、视频、文档搜索一个模型全搞定:微信开源的 WeMM-Embedding

微信刚开源了一个好东西，做 AI 搜索、商品推荐、资料整理的人，值得看一眼。

我们平时搜东西，后台其实靠的是把内容"翻译"成一串数字，让意思相近的内容自动靠在一起——这一步叫向量化。

打个比方：以前搜文字是一个系统，搜图片是另一个系统，搜视频、搜文档又各是各的，四套系统互不通气。你想"用一张图找相似图片"，就得单独接一个图片模型；想"用一句话找视频"，又得换一套。麻烦、费钱、还不好维护。

微信开源的 WeMM-Embedding，干的就是把这四件事合并成一件：一套模型，把文字、图片、视频、文档统统变成同一种"语言"，从此它们能在同一个空间里互相找。

一句话总结：过去要四套系统，现在一套就够。

• AI 搜索：用户搜"那张红色的产品图"，以前只能搜到文字里的"红色"，现在能直接命中图片本身；问"去年报告里怎么说的"，也能在文档里找到答案。搜索更准、更全。

• 电商推荐：上传一张图，系统能找出外观、风格相似的商品；或者写一句"适合夏天的浅色连衣裙"，也能直接匹配到对应商品图。看图下单、以图搜物，体验提升一大截。

• 企业知识库：公司里 PDF、图片、PPT、视频堆在一起，过去想搜个东西得知道它在哪个文件里。把它统一向量化后，一句话就能把散落各处的相关内容全部捞出来，做内部助手、员工问答特别好用。

• 跨形式找：用一段文字找相关的视频片段，用一张图找对应的文档，用一段视频找同类的素材。以前几乎做不到，现在因为都在同一个向量空间，变得可行了。

• 内容去重：手里一堆图片、视频素材要清理，靠人眼太累。用这套模型自动比对，能快速挑出重复、相似的内容，还能自动分类整理。

• 免费开源：模型权重完全开放，用 Apache 2.0 协议，可以商用。不用再去接闭源 API、按量付费，预算和自由度都更好。

• 腾讯出品，中文友好：微信视觉团队研发，对中文的理解和适配是天然优势。做中文产品、服务中文用户，用起来更顺手。

• 一套通吃，省心省钱：以前做"图文混合检索"，得同时维护好几套模型、好几个接口，开发维护成本都不小。现在一套统一搞定，团队能少操很多心。

• 大小按需选：官方给了 2B、4B、9B 三个尺寸。算力紧张、预算有限的用小的；追求效果、数据量大的用大的，丰俭由人。

想打通"图片、视频、文档"的搜索和推荐，微信这个开源方案，是目前少见的"免费、中文友好、一套通吃"的选择，值得拿去自己的场景里试试。

项目：github.com/Tencent/WeMM-Embedding