你还在为设备跑不动Yolov5而发愁吗?今天分享一个基于RK3576国产平台的图像采集处理综合方案,利用其6TOPS算力NPU,基于Yolov5模型实现流畅的目标识别功能。

▍6T超强算力NPU
RK3576内部已集成神经网络处理器NPU,支持神经网络推理硬件加速,能够流畅运行AI算法。主要参数及测试数据如下:
(1)6TOPS高性能算力。
(2)支持INT8/INT16/FP16/BF16等。
(3)支持多种框架,如TensorFlow、MXNet、PyTorch、Caffe等。

▍三步实现AI部署
RK3576 NPU开发依托瑞芯微官方RKNN-Toolkit2工具链,打通模型训练、模型转换、应用开发全流程,无需复杂底层改造,三步即可完成AI落地:
(1)模型训练:用户根据需求自行训练模型或使用官方提供的模型。
(2)模型转换:使用RKNN-Toolkit2将预训练模型转换为RK3576 NPU可使用的RKNN模型。
(3)应用开发:基于RKNN API开发应用程序。

▍全链路图像处理
本方案通过软硬件协同,构建了一条高效的全链路图像处理流程。
采集图像:通过V4L2框架,从MIPI摄像头实时获取高清图像数据。
图像处理:采集到的图像交给独立的RGA(2D硬件加速器)进行裁剪和缩放,不占用CPU资源,保证了处理速度。
AI推理:处理好的图像被送入NPU,运行Yolov5模型进行高速推理,快速输出识别到的物体坐标和标签。
画面显示:通过Qt将识别框和标签叠加在原始视频流上,并利用DRM实现GPU加速,最后输出到HDMI显示屏,实现流畅的实时画面展示。
▍Yolov5方案演示
我们基于创龙科技瑞芯微RK3576工业评估板以及OV13855摄像头进行实测。

执行对应程序,显示屏实时展示摄像头采集画面,自动对目标物体绘制检测框并标注类别。
程序运行稳定、识别精度高,推理与画面输出同步无延迟,适配机器视觉应用场景。画面中FPS为显示帧率,TIME为模型处理耗时及推理帧率。


客服











