文章概要:

1. Jais是面向阿拉伯语的开源大模型，参数量达130亿

2. 在阿拉伯语任务上，Jais性能可匹敌ChatGPT

3. Jais在Cerebras专用芯片上训练，具有技术创新

新火种（xhz.cn）9月4日 消息:阿拉伯联合酋长国的研究人员利用Cerebras公司的专用AI芯片，开发出了两个开源的大规模语言模型Jais和Jais Chat。这是业界首个面向阿拉伯语的、参数规模超过100亿的开源语言模型。

Jais拥有130亿个参数，使用了3950亿个训练样本，其中1160亿个是阿拉伯语样本。主要使用阿拉伯语网站、书籍、新闻和维基百科作为训练数据，所有数据在训练前进行过滤。

Jais Chat则通过额外的对话训练进行了优化。这两个模型在一系列阿拉伯语任务上的测试精度，明显超过了现有的阿拉伯语开源模型，在某些写作任务上甚至可匹敌商业化的英语模型ChatGPT。

该团队表示，在基准测试中，Jais 和 Jais-chat 的准确度比现有的免费阿拉伯语模型高出11到15个点，并且在英语方面与 Meta 的 LLaMa2具有竞争力。OpenAI 的ChatGPT或 Anthropic 的Claude等商业模型在基准测试中平均仍然领先，但规模也明显更大。

另外，Jais的训练没有使用Nvidia的GPU，而是在Cerebras专用的Wafer级芯片上完成。这种芯片专为AI工作负载而设计，使Jais的训练实现了技术创新。Jais的开源发布有助于推动阿拉伯语自然语言处理的进步。