WAP手机版 RSS订阅 加入收藏  设为首页
伟德官网登录
当前位置:首页 > 伟德官网登录

伟德官网登录:使用低精度计算对提高TNN性能起着重要作用

时间:2020/6/10 17:35:29  作者:  来源:  浏览:0  评论:0
内容摘要:从学术界到业界,“开源”已经成为人工智能领域的一个关键词。一方面,以“教人钓鱼”的方式,为人工智能构建开放、进步的生态环境,帮助行业加快人工智能应用落地;另一方面,在解决行业实际问题的同时,不断更新、迭代。要把重要的技术养分和创造力传递给人工智能领域,开源可以说是人工智能落地生根...
从学术界到业界,“开源”已经成为人工智能领域的一个关键词。一方面,以“教人钓鱼”的方式,为人工智能构建开放、进步的生态环境,帮助行业加快人工智能应用落地;另一方面,在解决行业实际问题的同时,不断更新、迭代。要把重要的技术养分和创造力传递给人工智能领域,开源可以说是人工智能落地生根、繁荣发展不可或缺的动力源泉。

6月10日,腾讯优图实验室宣布正式开源新一代移动深度学习推理框架TNN,通过对底层技术的优化,实现在多个不同平台上轻量级部署,性能优异,使用方便。基于TNN,开发者可以轻松地将深度学习算法移植到手机,实现高效执行,开发人工智能应用,真正实现人工智能触手可及。

深度学习对计算能力的巨大需求限制了其更广泛的应用,尤其是在移动端。由于手机处理器性能较差,无法扩展多台计算机的计算能力,计算时间长,发热、高功耗等因素往往会直接影响app等应用的用户体验。腾讯昱图基于自身在深度学习方面的技术积累,借鉴行业主流框架的优势,推出了高性能、轻量级的手机移动推理框架TNN。

在设计之初,TNN将高性能移动终端融入核心理念,并于2017年对开源ncnn框架进行重构升级。通过GPU深度调优、ARM SIMD深度装配指令调优、低精度计算等技术手段,性能得到进一步提升。

使用低精度计算对提高TNN性能起着重要作用。在神经网络计算中,浮点精度在许多研究和业务实现中被证明是冗余的。在计算和内存资源非常紧张的移动终端上,消除这部分冗余是非常必要的。TNN引入了INT8、FP16、BFP16等低精度计算支持。与大多数只提供INT8支持的框架相比,它不仅可以灵活适应不同场景,而且大大提高了计算性能。TNN使用8位整数而不是浮点数进行计算和存储。模型大小和内存消耗减少到1/4,计算性能提高50%以上。同时介绍了BFP16在arm平台上的支持。与浮点模型相比,BFP16减少了模型大小和内存消耗50%,在低端和中端机器上的性能也提高了约20%。Snapdragon 615平台测量:通用和轻量级是TNN框架的另一个亮点。长期以来,不同框架之间的模型转换一直是AI项目应用的痛点。

相关评论

本类更新

本类推荐

本类排行

本站所有站内信息仅供娱乐参考,不作任何商业用途,不以营利为目的,专注分享快乐,欢迎收藏本站!
所有信息均来自:百度一下 (bogou)