首页 > 资源库 > 开源项目 > 开源项目介绍 |TNN-跨平台AI推理框架

开源项目介绍 |TNN-跨平台AI推理框架

2023-09-20

2021腾讯犀牛鸟开源人才培养计划

开源项目介绍

滑至文末报名参与开源人才培养计划

提交项目Proposal

TNN项目介绍

        标签:人工智能

        技术栈:C++,Python

TNN-跨平台AI推理框架, 跨平台AI推理框架,同时拥有跨平台、高性能、模型压缩、代码裁剪等众多突出优势。同时也借鉴了业界主流开源框架高性能和良好拓展性的优点。目前TNN已经在腾讯业务手Q、微视、P图等广泛落地应用,欢迎大家参与协同共建,促进TNN推理框架进一步完善。

TNN项目导师介绍

姚达、田恒锋、王星晨

姚达,TNN框架技术负责人

田恒锋,TNN框架CPU侧架构师

王星晨,TNN框架CPU侧架构师

导师寄语:

“AI推理优化是一套系统工程,希望通过TNN相关辅导,能够帮助学员在硬件架构、应用框架等方向提升发现问题、解决问题的能力”——姚达

“TNN专注于深度学习推理部署,其中GPU在整个深度学习框架中占据了重要位置。希望通过相关辅导以及开源实践,帮助学员熟悉和提升GPU编程和性能调优经验,提升在整个开源社区和行业影响力。”——田恒锋

“TNN是一个跨平台高性能的推理框架,通过相关实践你将了解到AI算法落地的详细过程,以及如何在兼容性、性能以及效果之间做到平衡,为日后工作打下坚实基础”——王星晨

TNN拓展资料

?TNN Readme

https://github.com/Tencent/TNN/blob/master/README_CH.md

?ARMhttps://developer.arm.com/documentation/den0018/latest

https://developer.arm.com/documentation/den0024/a

?X86https://software.intel.com/content/www/us/en/develop/articles/intel-sdm.html

https://software.intel.com/sites/landingpage/IntrinsicsGuide/

?software optimize 

https://www.agner.org/optimize/

?MILRhttps://mlir.llvm.org/

?GPUhttps://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html

https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html

?模型量化https://intellabs.github.io/distiller/algo_quantization.html

https://arxiv.org/pdf/1806.08342.pdf

TNN实战任务

(最终具体任务以实战阶段导师布置为准)

编程任务

1.量化模型支持,打通训练和推理,支持非对称、按channel量化

预期结果:

  • 打通量化训练到推理的流程,并针对arm或x86平台对量化实现进行优化
  • 文档和测试

2.AI芯片适配,完成腾讯自研芯片或业界最新芯片的适配,完成模型迁移

预期结果:

  • 打通服务端AI芯片的软件栈接入到TNN的流程
  • 完成部分常用模型的适配
  • 文档和测试

3.云或端侧个性功能实现高性能部署,如人像分割、3D物体检测等

预期结果:

  • 完成最新的趣味模型的云端Demo实现,并进行Demo性能优化达到可用状态
  • 文档和测试

扫码填写问卷报名,提交项目proposal

加入开发实战

与导师一起成长这一夏

TNN开源项目交流群

欢迎对本项目感兴趣的同学一起交流

更多开源项目信息,

尽在“腾讯犀牛鸟开源人才社区”

扫码加入,解锁所有学习资料

关于腾讯犀牛鸟开源人才培养计划:为响应国家十四五规划的开源战略,腾讯于2021年5月发布“首届腾讯犀牛鸟开源人才培养计划”,希望企业界和教育界形成合力,打造面向高校学生的开源课程和开源实践培养方案,培育开源人才,普及开源文化,助力开源人才生态的发展。

首届项目由教育部计算机教学指导委员会、教育部软件工程教学指导委员会、中国信息通信研究院作为联合指导单位,包括开源基础培训、开源进阶研学、开源项目实战三个环节,项目涉及云原生、微服务、容器、AI、大数据、前端、物联网/边缘计算等多项技术热点。

各位同学报名即可参加线上开源系列课程,学习开源知识,对话学界及产业界大咖。其中入选开源项目实战的学生将在导师的一对一指导下,利用暑假开展编程实战,并有机会获得腾讯开源贡献者证书(目前全球只发出了10+张)。

?学生指南Q&A:https://github.com/Tencent/OpenSourceTalent/issues/14

?官方QQ群:859260607 (加群请备注学校+专业)

【其他项目介绍】

开源项目介绍 |OMI-前端【跨框架】框架

开源项目介绍 |APIJSON- 后端零代码接口和文档ORM 库

开源项目介绍 |TARS-高性能微服务治理框架

开源项目介绍|Apache InLong-分布式消息中间件系统

开源项目介绍|Tencent KonaJDK

开源项目介绍 |SuperEdge-云原生边缘计算平台

开源项目介绍 |Hippy-跨平台动态化框架

开源项目介绍 | Angel-高性能分布式机器学习平台

腾讯犀牛鸟开源人才培养计划官网

https://opensource.tencent.com/summer-of-code

(点击文末阅读原文直接访问)

合作或疑问欢迎联系:tencentopen@tencent.com

相关推荐

热门文章