Insights \u0026 Innovations

1. 简介 大规模预训练基础模型在计算机视觉领域具有重要意义，因为这些模型能够快速迁移至多种下游任务。本研究提出对比-生成双模态模型（Contrastive Captioner, CoCa），该模型采用极简设计，通过联合优化对比损失与生成损失，实现图像-文本编码器-解码器基础模型的预训练，从而兼具CLIP等对比式模型与SimVLM等生成式模型的能力。 与传统编码器-解码器架构（所有解码层均关注编码器输出）不同，CoCa在前半部分解码层中省略跨模态注意力机制以生成单模态文本表征，后半部分解码层则以级联方式对图像编码器输出进行跨模态注意力计算，最终获得多模态图文表征。该模型在单模态图像-文本嵌入之间施加对比损失，同时在多模态解码器输出端采用自回归文本预测的生成损失。由于共享计算图，两个训练目标能以极低开销高效实现。 CoCa的模型设计其实是ALBEF的延展性工作，只是模型更大，数据集超大，把性能堆的超级好。实验表明，CoCa在零样本迁移或极少量任务适配条件下，于视觉识别（ImageNet、Kinetics400/600/700、Moments-in-Time）、跨模态检索（MSCOCO、Flickr30K、MSR-VTT）、多模态理解（VQA、SNLI-VE、NLVR2）及图像描述生成（MSCOCO、NoCaps）等广泛下游任务中达到最先进性能。特别在ImageNet分类任务中，CoCa取得86.3%的零样本Top-1准确率，冻结编码器微调分类头时达90.6%，完整微调后更以91.0%的Top-1准确率刷新当前最佳记录。 论文中给到了非常直观的一张图。如下所示： 如图4所示，在这个蜘蛛网图中，每个边表征一个数据集（也可以看作一个任务）。黄色阴影是CoCa被提出之前，每个数据集上不同模型能达到的最好的性能（SOTA），紫色则是CoCa能到达的性能，简单说就是吊打图中所有任务的所有SOTA模型。 不过，悄悄的说，我个人感觉这看似恐怖且震撼的性能实际上没有太多贡献，主要是超大训练集支持的… 论文地址：https://arxiv.org/pdf/2205.01917 2. 模型与损失 这张图展示了Contrastive Captioners (CoCa)模型的预训练框架及其应用场景，以及训练所用的损失函数。 CoCA的模型架构与ALBEF不能说一模一样吧，可以说毫无差别，但在损失函数的选择上是有差异的。具体来说CoCA的损失函数由两部分组成，通过加权联合优化： 1．对比损失（Contrastive Loss） $$\mathcal{L}{\text […]

BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation 1. 介绍 视觉-语言预训练近期在各种多模态下游任务中取得了巨大成功。然而现有方法存在两大局限性： （1）模型层面：现有方法要么采用基于编码器的模型，要么采用编码器-解码器模型。但基于编码器的模型难以直接迁移到文本生成任务（如图像描述），而编码器-解码器模型尚未成功应用于图文检索任务。 （2）数据层面：最先进方法（如CLIP、ALBEF、SimVLM）主要使用网络收集的图文对进行预训练。尽管扩大数据集能提升性能，但本文证明网络文本的噪声特性不利于视觉-语言学习。 为此，BLIP提出（自举式语言-图像预训练框架），通过模型与数据层面的双重创新实现统一的理解与生成能力： (a) 多模态混合编解码器（MED）：新型架构支持多任务预训练与灵活迁移学习。MED可切换为单模态编码器、基于图像的文本编码器或解码器，通过图像-文本对比学习、匹配和条件语言建模三目标联合预训练。 (b) 字幕生成与过滤（CapFilt）：从噪声数据中学习的新方法。将预训练MED微调为两个模块：为网络图像生成合成字幕的生成器（Cap），以及过滤原始网络文本与合成文本噪声的过滤器（Filt）。

1. 摘要 这篇论文提出了一种名为 VLMO（Vision-Language pretrained Model） 的新型跨模态模型，它采用模块化 Transformer 结构，能够同时学习 双编码器（Dual Encoder） 和 融合编码器（Fusion Encoder），从而灵活适应不同的视觉-语言任务。 核心创新：混合模态专家（MOME）Transformer 传统跨模态模型通常针对特定任务设计，而 VLMO 的关键突破在于其 模块化架构。它采用 Mixture-of-Modality-Experts（MOME）Transformer，其中每个 Transformer 模块包含： 这种设计使 VLMO 具备极高的灵活性： 分阶段预训练策略 为了充分利用不同数据源，作者提出 分阶段预训练（Stagewise

1. 摘要 1.1 问题 现有的多模态（图像+文本）模型通常用一个Transformer编码器同时处理图像特征和文本词符。但图像区域和单词之间没有天然的对齐关系，导致模型难以准确学习两者之间的交互。比如，模型可能不知道图片中的”狗”对应文本中的哪个词。 1.2 解决方案：ALBEF 2. 模型架构 ALBEF（Align Before Fusing）的模型结构通过图像编码器、文本编码器和多模态编码器三部分协同工作，实现图像与文本的高效对齐和融合。以下是详细解析： 2.1 各组件细节 (1) 图像编码器 (2) 文本编码器 (3) 多模态编码器

1. 摘要 目前最先进的计算机视觉系统通常通过预定义的对象类别进行训练。这种受限的监督形式严重限制了模型的通用性和实用性——因为任何新视觉概念的识别都需要额外的标注数据。而直接从图像相关的原始文本中学习，则提供了一种更具潜力的替代方案，它能利用更广泛的监督信号来源。 论文的研究表明，一个简单的预训练任务——即预测哪段文本描述与哪张图像匹配——可以高效、可扩展地从互联网收集的4亿个（图像，文本）配对数据集中，从头开始学习最先进的图像表征。预训练完成后，通过自然语言即可调用已学习的视觉概念（或描述新概念），从而实现模型在下游任务中的零样本迁移。 论文地址：https://arxiv.org/pdf/2103.00020 2. 方法 （图1）详细展示了CLIP（Contrastive Language-Image Pre-training）模型的核心工作流程，分为三个关键阶段。图示符号详解： 符号 含义 技术作用 l_i 第i张图像的特征向量 视觉概念的向量化表示 T_j 第j个文本的特征向量 语言概念的向量化表示 l_i-T_j

Deep Learning create by Deepfinder Agenda 师徒相授：有监督学习（Supervised Learning） 见微知著：无监督学习（Un-supervised Learning） 无师自通：自监督学习（Self-supervised Learning） 以点带面：半监督学习（Semi-supervised learning） 明辨是非：对比学习（Contrastive Learning） 举一反三：迁移学习（Transfer Learning） 针锋相对：对抗学习（Adversarial Learning）

1. 摘要 视觉与语言预训练（VLP）在跨模态任务（如图文检索、视觉问答等）上取得了显著进展。然而，现有方法大多依赖计算量大的图像特征提取模块（如基于目标检测的区域特征或CNN提取的全局特征），这不仅降低了效率，还限制了模型的表达能力。本文提出 ViLT（Vision-and-Language Transformer），一种极简的VLP模型，其核心创新是完全摒弃传统卷积或区域监督方法，改用类似文本处理的“无卷积”方式直接建模视觉输入。实验证明，ViLT 比现有方法快数十倍，同时在下游任务上保持甚至超越SOTA性能。 论文地址：http://proceedings.mlr.press/v139/kim21k/kim21k.pdf 2. 介绍 2.1 背景 作者总结了视觉-语言模型（Vision-and-Language Models）的 四种计算范式分类，通过比较 视觉嵌入（VE）、文本嵌入（TE）和模态交互（MI） 三个模块的 相对计算量（矩形高度表示），揭示了不同模型的设计差异。以下是详细解析： (a) VE > TE > MI特点：视觉嵌入计算量最大，文本次之，模态交互最小。需运行Faster R-CNN提取区域特征（VE耗时高），文本用轻量BERT（TE中等），交互较简单。代表模型：早期基于区域检测的模型（如UNITER、VILBERT）。 (b)