CLIP 超通俗讲解

CLIP 超通俗讲解

1 CLIP 一句话看懂

CLIP 全称Contrastive Language-Image Pre-training（对比语言图像预训练），OpenAI 2021年提出的跨模态基石模型。

通俗类比

把图片、文字翻译成同一种“数字语言（向量）”，放进同一个球形空间：

• 语义匹配的图和文字 → 向量挨得近（余弦相似度高）
• 语义无关的图和文字 → 向量离得远（余弦相似度低）

两大核心能力

1. 零样本图像分类：不用重新训练，随便写文字类别就能给图片分类（给猫图，输入["猫","狗","汽车"]直接判断）
2. 图文双向检索：文字搜图片、图片搜文字

和传统图像模型最大区别

传统CNN/ResNet：固定分类头，新增类别必须重新训练；
CLIP：开放文本分类，写一句描述就能识别全新物体，零样本。

2 CLIP 整体架构

双塔结构（两个独立编码器）

输入图片 → 图像编码器（ViT/ResNe