perfxlab

时间:2020-08-06 13:01 点击:143

原标题:PerfXLab CEO张先轶30页PPT深入讲解嵌入式AI开发板及嵌入式视觉应用开发【附PPT下载】

出品 | 智东西公开课

讲师 | 张先轶 澎峰科技CEO

提醒 | 关注智东西公开课公众号,并回复关键词 嵌入式02,即可获取课件。

导读:

3月17日,澎峰科技CEO张先轶在智东西公开课进行了嵌入式AI合辑第二讲的直播讲解,主题为《利用AI开发板实现嵌入式视觉应用开发》。

在本次讲解中,张先轶老师从嵌入式AI开发板的设计经验、主流嵌入式AI开发板的差异,并结合澎峰科技Perf-RK3399开发板及PerfFace人脸识别算法,为我们系统讲解如何实现双目人脸识别应用开发。

本文为此次课程主讲环节的图文整理:

正文:

大家好,我是张先轶,今天我要分享的主题为《利用AI开发板实现嵌入式视觉应用开发》,我们会分为4个部分:

1、嵌入式AI开发板设计

2、主流嵌入式AI开发板介绍

3、利用Perf-RK3399开发板开发双目人脸识别应用

4、产品案例:实现人脸面板机

嵌入式AI开发板设计

我主要从用户或团队或者商业的角度来看,首先可能要回答两个问题,一个是我们为什么要自己去做一款嵌入式AI开发版?我们的需求在哪里?因为在市场上或者淘宝搜一搜,是不是已经有类似的产品、开发板可以买过来用,或者公司可以直接用,没必要再去做。因为开发板并不是一个赚大钱的业务,就像大家认为树莓派是非常成功的,但是树莓派在2019年底,它累计的销售额大概达到了3000万,这已经是他成立大概七八年多的时间累计获得一个量,这个量其实不算很大。但另一方面来说,它实际上还是很非常有利于培养社区的,如果大家对开源的精神或者社区建设有兴趣,可能是做一款合适的开发版,培养整个社区和生态。

当我们在解决为什么这么做时,你的需求肯定会在于差异性,例如你要做一款板子,如果你做的跟其他人的雷同性非常高,那代表着没有你存在的价值,直接买别人的就可以。比如你是用了新的主芯片,或外设接口,或价格更低,还是在这上面的配套的软件和案例更多,这些就是找准差异性。

对于如何做一款AI的开发板,首先是芯片选型,因为你现在肯定会去找一些带NPU的芯片,现在带NPU的SOC其实越来越多,找到一款合适的带NPU的SOC并不难,然后你的接口可能要配上摄像头、麦克风阵列,因为现在AI处理在边缘端主要与图像或语音相关,对于其他更复杂的情况,目前还无法实现。你还要做成本控制、配套的软件和案例等。最后开发版设计完后,它并不是开发板结束,它才代表了开始,后续的服务和社区的建设,或者你收集用户的反馈与迭代下一代的产品,或者你这基础上做一些专案设计,这才是你工作真正开始的地方。

主流嵌入式AI开发板介绍

我们用过很多AI开发版,据此稍微对比一下,如果我们在做边缘端的计算,他该怎么入手,因为市面上有很多不同种类,我其实是按种类来划分,第一个推荐是GPU类的产品,比如NVIDIA TX2或Nano,还有自动驾驶里可能用NVIDIA的GPU产品,相应AMD APU的SoC可能也有一些,比如v1605B。我把GPU放在最前面的原因就是一般这类型的开发板或者板卡,其实是很多客户或开发者最开始接触嵌入式AI方面上手的第一款的板子,它最大的优势就是生态非常好,不管是跑什么库,不管是跑TensorFlow、Caffe、PyTorch,它本身另一个系统都装了,你基本在unbuntu下载这些都很流畅的装起来,python也能跑,它可能跟服务器开发的体验几乎是一致的。

你可能在服务器上调的这些模型,放到TX2上,用同样的python脚本代码,你需要装SDK,然后可以直接做推理计算。比如通过USB摄像头或者通过网络传进来,或者通过其他方式传进来,你可能通过Opencv就把摄像摄像头的流就获取到,然后每帧做好模型,结果就出来了,它开发起来的速度还是挺快的,而且性能也还可以,再加上他本身的模型可以转化成浮点16比特,也就是模型的转换和部署是比较简单,基本上训练出来的单精度模型,你可以通过TensorRT转换,就可以直接调用,调试也很容易,这是他最大的优势。它的劣势是成本问题,比如自动驾驶的套件其实就价格都比较贵,这是在你的部署中会遇到硬件成本的问题,而且它的性能也没有那么好。

第二类是一些传统的嵌入式SoC,这里我中间放了一张抖音的图,这张图放在这里意思并不是所有做边缘端的AI计算,必须要NPU,它其实存在一些中低算力的需求,可能用一些已有的CPU或者一些集成的GPU就可以解决,典型的是一些美颜直播或者人脸门禁,他可能只运行在你的手机上,它的优势肯定是整体更成熟,硬件更成熟,成本更低,它支持安卓系统或者其他系统,可能界面开发更容易。挑战就是算力不够,如果模型大,可能跑不了那么高的帧数,可能一秒只能跑几帧,再加上它的性能优化很多部分在于使用了什么样的前端推理框架,比如说常用的NCNN或阿里的MNN或者你自己去优化自己的框架,因为这一部分的框架决定了你最后的性能和你最后使用的难易程度,后面会分享一下这部分的策略。

第三类是带NPU的SoC,这类型的板子在市面上越来越多,它们的算力也不错,基本上都可能3T、4T或者更高。从华为、瑞星微到地平线,还有其他很多公司都在生产这类的板子。但我个人是比较喜欢这种NPU与主处理器或者AP是集成在一起的SoC产品,如果是分离式的,比如只是一个加速棒,可以通过USB插到这个板卡上,这种的方式我个人其实不大喜欢,因为这部分数据传输量其实也不低,而且最后硬件的稳定性上怎么弄,这可能都会有问题。单主芯片这种方案肯定是最好的,它的优势是性能高、硬件成本适中。他的一个挑战是模型的部署难,因为现在大部分的NPU都是定点模型,都是靠INT8的一个推理的模型。

在INT8的推理模型时,就必然涉及到量化和转换的过程,而量化和转换的部分,很多芯片公司都是要用自己的工具来转换,这里面可能要涉及到去调精度,这个精度是否能满足你的浮点模型的转换进度需求,这就要依赖于芯片公司的部署工具链是不是成熟?还有一点是很多时候这种转换它没有可编程性,因为一些应用它不只是做深度学习,它有可能还有一些别的处理部分,就造成那一部分的处理商没办法利用NPU这部分算力。

像华为的Atlas系列,因为里边有一些类似于计算阵列的存在,可能还可以做一些通用计算,但是有些可能做不到,这部分是设计的时候考虑的一些问题。

下一部分是FPGA, FPGA市面上用的不是特别多,因为它主要是满足一些对实时性要求比较高或工业级的应用,这些可能在车载用的比较多,像自动驾驶或辅助驾驶里边,他有一些可能会用FPGA来做。最大的挑战就是开发难度会比之前说那些都要更高一些,为用FPGA,你可以用赛恩斯提供的,或深鉴做的那一套工具IP,你也可以自研FPGA的AI core来做,这就涉及到底下加速盒的设计,上面你还有一套工具链你要做,上图右边是我们自己做的一套自研AI加速FPGA逻辑,我们支持了8倍量化。

如果你要自己自研,可能就涉及到量化方案怎么做,一般还要做下剪枝,来把模型的计算量降下来。之后涉及到转换,编译的过程,实际上就生成参数文件生成指定流,相当于把二进制文件烧到FPGA上,然后开始运行,大概是这样的过程。当然底下加速IP可能是要自己设计,这是FPGA方面的要做的一个事情。

最后是IoT级别或RISC-V相关的板卡,这部分有很多IoT AI的需求,大部分是做语音的方面,也有做图像的,在这两种情况下,比如语音唤醒的系列,它的计算量并不高,并不是一个高计算量的的应用,我觉得可能用Cortex-M级别或者是AMR9这种比较旧的处理器就直接能做。

但是如果做图像这部分,肯定是处理不了的,一般都要加一个NPU或加一个小阵列进去,现在有一些RISC-V架构的芯片,包括Canaan k210、GreenWaves GAP8等。

如果你本身对Perf-V感兴趣,可以用一些我们的Perf-GAP8的FPGA板卡,他们在IoT级别主要就关注他的功耗的优势和小尺寸,由于本身的板卡可以做得很小,它的小尺寸可以用在这种非常小的首长级的小无人机,或者智能门铃等。它的挑战还是算力,因为它本身比较小,它的算力没那么强。

最后,总结可能分为这几类,如果是新入门的开发人员,建议用NVIDIA TX2或AMD APU,这些比较好上手。如果你是做手机APP或对安卓有需求,可能就是大部分ARM开发板或者是买个手机试试,这里的核心问题是要选择合适的深度学习推理框架,然后要做这种软件的性能优化。然后其他的嵌入式有相同需求,可以选择带NPU的SoC。在低功耗的这一级别,基本上就是以IoT级别的开发板为主,这些需要根据你的具体的芯片来选择。

利用Perf-RK3399开发板开发双目人脸识别应用

下面是做一个人脸识别应用,这部分用到的是Rk3399开发板,它是一个没有带NPU的版本,是一个最传统的SoC,然后他支持Linux系统,可以跑安卓,支持单目或双目摄像头,因为它这本身就是标准的操作系统,这些推理框架也都可以做。我们之前做了人脸SDK的比对,人脸底库数量可以支持到1万人,然后支持本地的人脸注册和识别,速度可能是在150毫秒左右,这是做一个人脸的整个流程的识别。适应场景可能就是人脸的面板机或者是广告机的类似的场景,它的假设就是说摄像头里边的人脸数量不多,我的人脸的可能是一个人脸或是一个中近位置的距离,这部分可能要涉及到要用什么前向推理框架,这里面前向推理框架非常多了,我就不做过多列举。

上图是前向推理框架目前要设计做的点,核心点是我们设备支持的数量是不够多,我可能支持 CPU、GPU还是把DSP也支持,或FPGA也支持,肯定是支持越多,越容易能胜出。第二个是支持的模型种类更多,像支持网络结构和文件格式、支持浮点、支持定点、支持BF16、FP16等。第三是卷积、池化,因为卷积在软件层的优化可能是以矩阵乘为主,也可能做Winograd、直接卷积、FFT。

如果对于一些NPU来说,它可能把卷机做硬件的实现了,可能在硬件上实现了3*3卷积,我就是直接调用硬件部分,或者硬件支持的是一个矩阵,比如说是一个16×16或者4×4的矩阵或一个16×16的一个矩阵的直接矩阵乘法,我只要把我转换的数据排成矩阵的格式,我再给一点一点算出来就行。

对于定制算子,他可能是涉及到一个前后的计算量不高的部分,那一部分很多时候可能有时候会放回主核或者放到GPU上,很多时候那部分其实不是一个性能的重点,因为大部分的网络或者图像里边,这些网络大部分都是在卷积的操作上,上面的性能图比较旧,只是展示一下软件优化的效果,我只是做了一些不同化的切分,我可能性能就提高了一倍,就因为做了这种切分之后,我可以做多核并行化,所以说它的性能提升比较明显,这是之前的一个工作,只是说下软件优化的作用,其实很多时候还是有很多点可以挖掘。

对于做双目的人脸识别应用来说,人脸识别的整个流程的核心是把人脸转换成特征,它的流程主要有4步,第一步是人脸检测,把人脸框框出来,然后做关键点定位,知道他的鼻子或者是嘴在哪里,第三步是在定位的基础上做人脸的矫正,因为人脸有可能是歪的或扭的,我要把它正过来,形成比较正的矫正的方式在这里。在这前提下,做一个跑人脸特征提取的模型,这样我就把人脸转换成一个几百维的特征。

在1:N的人脸识别的意思就是我预先存入了100张的人脸,我就一张张传进去,然后每张人脸都走前面这4步的流程,然后转换成特征,然后我存了100个特征存到我的数据库里,通过摄像头获取到当前的人脸,我就会取到一个特征,拿这一个特征跟数据库里边100个特征去做对比,你可以理解为算一个距离,我看他离哪个更近,我就认为他可能是属于每个人,当然中间可能会存在置信度或阈值判定的问题,因为有可能这100个人都不像。

在双目摄像头应用里面的人脸检测这部分,主要衡量的点还是要平衡准确率和算力的需求,因为3399的硬件的算力比较低,所以我可能也不是在原图上做处理,因为原图做处理它的计算需求还是非常高的,这部分我就会做图像的缩放。对于缩放问题,你缩放到多大,其实是跟我们的任务目标有关系,如果是你想识别距离比较远,就意味着这个人脸在图像里的占比比较小,我一缩放完可能就把人脸色缩放没了,我肯定没办法去识别与检测。

如果我们的场景是人脸面板机这种,人靠的很近,可能就两米或一米,人脸在画面里的占比比较多,我缩放一下它其实还是能检测出来的,这时候缩放还是可以的。我们做了一个人脸检测,把人脸缩放到320*224,然后通过我们的框架和库做了一些的加速的操作。如果你本身是做NPU,比如安防摄像头,就是在1080p的原图上做的话也可以,然后我检测到人脸去识别。

在关键点定位上和人脸矫正的算力需求比较低,因为关键定位一般都是比较小的模型,然后人脸矫正就是一个映射旋转,还有Opencv的函数就可以,这可能不是一个重点,它的消耗比较少。然后在特征提取这部分上是大家PK的地方,可能你在服务器级别上是一个非常大的模型,但是你在边缘端肯定就会要做一个小模型,这决定你的人脸底库N大概能存多少,因为你存的多可能就区分不出来。

这块模型同时还要评估你的算力,一秒能识别多少张人脸,你也许性能很强,但10秒才能识别出来一张人脸,这可能就失去了边缘端计算的意义,它太慢了,还不如你把这图像传回云端,由云端来做。至于这个人脸特征匹配就查找的过程,这部分相对还好,不是特别慢,但是当你底库N很大的时候,这部分是有优化空间,比如说上万,但如果只是几千这种级别,这部分的时间占比还是比较低的。

提到活体检测,我们这部分活体上用了一个偷懒的方法,我们直接拿双目来做。活体常有配合式、非配合式,配合式就点头、眨眼,非配合是可以用单目的直接做,或者用双目来做,或者用3D摄像头来做,我们实际上是用了一个简单双目,比如对于手机屏幕这种成像,就可见光的摄像头里面实际上是成出来像的,但是右侧的这张你看是这种进红外的的摄像头,它实际上在手机屏幕上成不出人脸,实际上就是靠这个方法通过同时在两个摄像头里做人脸检测,看看是不是都能找到,或者只是在近红外做人脸检测,能不能找到人脸,然后用可见光的那个人脸去做识别,可能大概是这样的方法来做,就是防屏幕的操作。

在GPU的这部分上,刚才有人提到用GPU是不是会比CPU好,上图展示了我们在RK3099的平台上做的一个效果。在GPU上是非常强,它只是一个四核的还是T860,这是比较旧的一部分的做法,可以看到我们用了GPU优化之后,就YOLOv2版本,可以达到了190毫秒,要用CPU跑可能要六七百毫秒,可以看到性能还是提高了几倍的竞争效果。如果你在更新一代的处理器上,在GPU比较强的情况下,它可能能做的事情会更多了。

产品案例:实现人脸面板机

人脸面板机的主芯片选择非常多,现在主流还是用海思,比如海思3516DV300的比较多,因为他可以支持双目,之前不少用RK3288和RK3399,摄像头你可以选择单目、双目、3D还是用USB摄像头MIPI摄像头,然后是屏幕的尺寸,你的借口是不是带NFC读卡还是指纹,是否测温,这些可能都是在产品设计时候考虑的做的事情,还包括你的外壳。

上图是基于RK3399板子做的一个安卓上的效果,比如软件部分,除了刚才我讲的1:N的人脸识别类的应用来说,可能有些底库管理、注册模块、支持批量导入、设备配置、日志管理,这些可能都是一些常用的。 在这基础上可能还会再做一个服务器的管理平台,做设备的管理,你做具体的业务相关的开发或者什么那些或支持二次开发。实际上是自己做门禁用,做打卡机用,所以说这部分也有一些需求。


当前网址:http://www.anp8a7q.tw/91mianfeishipinzaixianguankanguochanshipin/138309.html
tag:人脸,开发板,算力,性能,嵌入式,支持,模型,可能是,双目,

发表评论 (143人查看0条评论)
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
昵称: 验证码:点击我更换图片
最新评论

Powered by 91免费视频在线观看 @2014