OpenCV 4.3.0集成Tengine为DNN模块的一个后端,实现了DNN在ARM上的推理速度最快达到翻倍。OpenCV 4.5.0 Tengine升级为Tengine-Lite,又将DNN的速度最高缩短207%。OpenCV为什么将Tengine作为DNN ARM后端?为DNN添加Tengine后端或者其它新的后端要怎样开发?OPEN AI LAB(开放智能)Tengine for OpenCV项目负责人李琦工程师对此进行了详细介绍。
很荣幸能加入OPEN AI LAB , 遇到一些很棒的人和事,这样层层的荣幸叠加,让我有幸能遇到OpenCV中国团队,并且能借此将Tengine和OpenCV结合起来。我这篇将文章围绕OpenCV里面集成Tengine的这项功能的开发流程来讲。
Tengine是OPEN AI LAB(开放智能)的开源边缘AI推理框架,本身是聚焦在端侧的推理,针对ARM不同的核都有不同的汇编优化实现,在现在国内推理框架层出不穷的时代,Tengine还能稳稳的守住性能王者的位置,也是得益于这一块的优化能力。大家肯定也知道,OpenCV是宇宙最强的计算机视觉库,在神经网络大火的年代也是很早就做了很全的推理的实现,而且接口简单,对老用户来说极其方便,但是在ARM上的性能确实也是还有很大的优化空间。在这样的一个前提下,强强联合,便产生了这样的一个需求。