PaliGemma：Google推出的开源视觉语言模型

PaliGemma是Google开发并发布的具有多模态功能的视觉语言模型（VLM）。 与其他 VLM（例如 Openai 的 GPT-4o、Google Gemini 和 Anthropic 的 Claude 3）不同，PaliGemma 具有广泛的功能，并且能够在特定任务上进行微调以获得更好的性能。

PaliGemma 与 2024 年 Google I/O 活动上的其他产品一起发布，是一个基于 Google 研究的另外两个模型的组合多模态模型：SigLIP（视觉模型）和 Gemma（大型语言模型），这意味着该模型是一个组合Transformer 解码器和 Vision Transformer 图像编码器。它以图像和文本作为输入并生成文本作为输出，支持多种语言。

PaliGemma 能做什么？

PaliGemma 是一种单轮视觉语言模型，在针对特定用例进行微调时效果最佳。这意味着您可以输入图像和文本字符串，例如为图像添加标题的提示或问题，PaliGemma 将输出文本以响应输入，例如图像的标题、问题的答案或问题的答案。对象边界框坐标列表。

PaliGemma 适合执行与 Google 发布的以下任务基准测试结果相关的任务：

• 对单个任务进行微调

• 图片问答和字幕

• 视频问答和字幕

• 分割

这意味着 PaliGemma 对于与视觉数据相关的简单且具体的问题非常有用。

我们创建了一个表格，根据常见基准报告的结果来显示 PaliGemma 相对于其他模型的结果。

虽然基准是有用的数据点，但它们并不能说明全部情况。 PaliGemma 旨在进行微调，其他模型是闭源的。为了显示哪些选项可用，我们与其他无法微调的模型（通常更大）进行比较。

值得进行试验，看看使用自定义数据进行微调是否会为您的特定用例带来比其他模型的开箱即用性能更好的性能。

在本文后面，我们将使用一组标准测试将 PaliGemma 与其他开源 VLM 和 LMM 进行比较。继续阅读以了解其性能。

如何微调 PaliGemma

PaliGemma 令人兴奋的方面之一是它能够对自定义用例数据进行微调。 Google PaliGemma 团队发布的笔记本展示了如何在小型数据集上进行微调。

需要注意的是，在这个示例中，仅对注意力层进行了微调，因此性能改进可能有限。

PaliGemma应用

无论是使用 PaliGemma 零样本还是根据自定义数据进行微调，都有针对 PaliGemma 优势量身定制的特定用例，这将为新的 AI 用例打开大门。让我们看一下其中的两个。

定制应用程序

Claude 3、Gemini 1.5 Pro 和 GPT-4o 等模型可以开箱即用，并应用于它们适合解决的问题。 PaliGemmi 为闭源模型仍无法解决的用例带来了多模式功能，因为您可以使用与您的问题相关的专有数据来微调 PaliGemma。这在制造、消费品、医疗保健和安全等行业非常有用。如果您遇到封闭模型没有见过的独特问题，并且由于其专有性质而永远不会看到，那么 PaliGemma 是构建定制 AI 解决方案的一个很好的切入点。

OCR

如本文前面所示，PaliGemma 是一个强大的 OCR 模型，无需任何额外的微调。当构建 OCR 应用程序以扩展到数十亿个预测时，延迟、成本和准确性可能难以平衡。在 PaliGemma 之前，闭源模型是同类最佳的性能选择，但其成本和缺乏模型所有权使得它们难以在生产中证明其合理性。该模型可以提供即时性能，并通过对特定数据进行微调来随着时间的推移进行改进。