首页 > AI资讯 > 最新资讯 > 高通发布cloudai100ultra云推理卡,可运行千亿参数大模型

高通发布cloudai100ultra云推理卡,可运行千亿参数大模型

新火种    2023-11-22

品玩11月15日讯,高通现已发布旗下云 AI 推理加速卡 Cloud AI 100 Ultra ,该产品专为生成式 AI 和大语言模型打造。

高通表示, Cloud AI 100 Ultra 可以在单张 150W 的卡上部署 100B 参数模型,在两张卡上部署 175B 参数模型,通过堆栈还可以支持更大尺寸的模型。高通表示,Cloud AI 100 平台在最新基准测试结果的所有加速卡中均处于领先地位。

相关推荐
免责声明
本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。