CLIP 源码精读：四亿张图喂出来的零样本视

CLIP 拿最佳论文都四年了，现在多模态大模型换了几代，但视觉端几乎还是围着它转。

说白了它就干一件事：图片和文字各过一个编码器，扔进同一个空间里算相似度。最绝的是零样本迁移——把类别名塞进“一张{类别}的照片”这种句子里，让文本编码器输出向量去匹配。ImageNet 一张标注图都不用，它直接追平了传统方法的精度。

不过这代码库里藏着几个坑。比如文本长度死卡在 77，提示词一长后半句直接被吞；模型输出的 logits 其实是相似度乘了 100，初学者常误以为是概率。还有那个“一张照片 of a {类别}”的模板，选得好坏能差出好几个百分点，硬是催生了后来的提示工程。

训练这玩意儿才是真狠。OpenAI 从网上扒了 4 亿对图文，去重过滤全靠机器洗。当时用了 592 张 GPU 跑了好几周，这算力门槛，2021 年没几家扛得住。

它确实有短板，搞不清空间关系和组合推理。但直到今天，你想给新任务冷启动个视觉编码器，或者清洗数据集去噪，第一反应还是拿 CLIP 跑一遍。读它的源码不为追新，就为摸透这个地基的纹理。