高通发布cloudai100ultra云推理卡,可运行千亿参数大模型
品玩11月15日讯,高通现已发布旗下云 AI 推理加速卡 Cloud AI 100 Ultra ,该产品专为生成式 AI 和大语言模型打造。
高通表示, Cloud AI 100 Ultra 可以在单张 150W 的卡上部署 100B 参数模型,在两张卡上部署 175B 参数模型,通过堆栈还可以支持更大尺寸的模型。高通表示,Cloud AI 100 平台在最新基准测试结果的所有加速卡中均处于领先地位。
相关推荐
- 免责声明
- 本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。