首页 > AI资讯 > 行业动态 > Meta可能正开发Llama 3,据称比GPT-4强大、免费开源!

Meta可能正开发Llama 3,据称比GPT-4强大、免费开源!

新火种    2023-09-01

本文要点:

1. Meta可能正在开发比GPT-4更强大的AI大模型Llama3,并保持开源免费。

2.消息称 Llama3计划达到GPT-4的性能水平,但仍将免费提供。然而Meta尚未对此进行官方确认。

3. Llama2在某些应用上达到GPT-3.5水平,但与GPT-4等模型仍有明显差距。Llama3是否能超过GPT-4在技术上还存在不确定性。

新火种(xhz.cn)8月31日 消息:据人工智能新闻网站the decoder报道,Meta可能正在开发比GPT-4更强大的AI大模型Llama3,并且保持开源免费。

报道称,这是OpenAI 工程师、前 Google Brain 工程师 Jason Wei 在 Meta 组织的 Generative AI Group 社交活动中听到的消息。

Jason Wei注意到 Meta 现在有足够的计算能力来训练 Llama3和4。他透露,Llama3计划达到GPT-4的性能水平,但仍将免费提供。

不过,Meta目前还没有发表任何关于Llama3何时发布的声明。尽管消息源来自Jason Wei,但其听到的消息也可能有误。

可以参考的是,从2023年2月下旬发布Llama1到2023年7月下旬发布 Llama2, Meta 花了大约五个月的时间。

GPT-4具有比标准版 Llama 更复杂的架构

GPT-4可能通过使用更复杂的混合架构来实现其高性能,该架构具有16个专家网络,每个网络具有约1110亿个参数。

因此,从 Llama2升级到 Llama3可能比简单地通过更多训练进行扩展更具挑战性,并且可能比从 Llama1跳到 Llama2需要更长的时间。

Llama2在某些应用程序中达到了GPT-3.5的水平,同时正在由开源社区通过微调和附加功能进行优化。

例如,最近发布的Code Llama基于 Llama2,通过微调在 HumanEval 编码基准中达到了GPT-3.5和GPT-4级别的结果(取决于测量类型)。

然而,Meta 在论文中指出, Llama2与 GPT-4和Google 的 PaLM-2等闭源模型仍然存在较大的性能差距。

届时Llama3能否比GPT-4更强大还有待观察。

Tags:
相关推荐
免责声明
本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。