声明:本文来自于

国产大模型，登顶多模态榜单!

昆仑万维最近在大模型圈可谓“风生水起”。

几天前刚被曝挖来了AI大牛颜水成，出任天工智能联席CEO。

现在，其「天工」大模型Skywork-MM又登顶多模态榜单，在腾讯优图实验室联合厦门大学开展的多模态大语言模型（Multimodal Large Language Model，简称“MLLM”）测评中，综合得分排名第一。

这两大问题严重影响着现有多模态大模型的性能。

怎么解决?

昆仑万维天工大模型Skywork-MM从分别从数据、模型和训练流程三方面入手。

其中重点是数据和模型。

先看数据。

首先对于幻觉问题。

从本质出发，该问题主要是整个模型训练过程中使用的数据太偏重正样本。

也就是说，模型描述的都是图片中有什么，而没有学习图片中没有什么。

如果训练过程中再碰上弱相关的图文数据，模型就更加放飞联想、形成较严重的幻觉。

为此，天工大模型多模态团队提出以图像为中心，喂给模型既包含正样本也包含负样本的多模态指令微调数据:

Tags: