OPPOFindX7系列将首次实现端侧应用70亿参数大模型
通过4bit量化的模型压缩,OPPO的Al Boost推理引擎优化,以及与芯片厂家联合深度优化等多项举措,让70亿参数大模型真正地装进手机,并实现内存和存储空间的进一步优化,为端侧AI的性能与精度实现更好平衡。OPPO自主训练的大模型——AndesGPT,具有“个性专属、对话增强、端云协同”三大技术特征。坚持端云协同部署的AndesGPT,覆盖十亿至千亿以上多种不同参数规模,可通过分工、互补、协作的方式,根据不同场景的用户需求实现智能调度。通过独创的SwappedAttention技术,AndesGPT还解决了长期记忆带来首字推理延迟问题。
相关推荐
- 免责声明
- 本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。