【深度学习】树莓派Zero w深度学习模型Python推理

2023-09-13 20:06:52

在机器学习开发过程中，当模型训练好后，接下来就要进行模型推理了，根据部署环境可分为三类场景：

边缘计算：一般指手机，嵌入式设备，直接在数据生成的设备上进行推理，因为能避免将采集到的数据上传到云端，所以实时性非常好。

端计算：介于云和边缘设备之间的计算平台，个人PC可以归为这一类。

云计算：指云计算平台，具有强大的计算和存储能力，通过服务释放AI能力。

在之前跟大家分享的AI工具中，都是在PC上进行推理，也就是属于端设备推理。

基于深度学习的抠图工具
https://github.com/AIDajiangtang
基于深度学习的图像拼接工具
https://github.com/AIDajiangtang/Superpoint-LightGlue-Image-Stiching
基于大模型的分割工具
https://github.com/AIDajiangtang/Segment-Anything-CPP
https://github.com/AIDajiangtang/Segment-Anything-CSharp

今天，我将为大家演示如何在边缘设备上进行推理。

要准备毕业设计的小伙伴可以作为参考。

我选择的边缘设备是树莓派的Zero w开发板，硬件配置参数如下：

1GHz single-core CPU ARM11 ARMv6

512MB RAM

Mini HDMI® port

Micro USB OTG port

Micro USB power

HAT-compatible 40-pin header

Composite video and reset headers

CSI camera connector (v1.3 only)

这里多说一点，对于ARM芯片，要区分芯片系列与CPU架构。不同的CPU架构对应不同的指令集，如果涉及从源码编译需要考虑CPU架构。

ARM7：
时间点：ARM7系列处理器于1994年发布。
特点：ARM7系列处理器是ARM架构的早期版本，采用32位RISC架构，主要用于嵌入式系统和低功耗设备。它具有较低的功耗和成本，适用于资源受限的应用。
CPU架构：ARMv4T架构。

ARM9：
时间点：ARM9系列处理器于1997年发布。
特点：ARM9系列处理器也是基于32位RISC架构，用于多种应用，包括嵌入式系统、移动设备和数字音频。它具有较高的性能和灵活性，适用于中等功耗和性能需求的应用。
CPU架构：ARMv5TE架构。


ARM11：
时间点：ARM11系列处理器于2002年发布。
特点：ARM11系列处理器同样采用32位RISC架构，主要应用于移动设备和数字媒体领域。它具有更高的性能和计算能力，支持多媒体处理和浮点运算。
CPU架构：ARMv6架构。

ARM Cortex-A：
时间点：ARM Cortex-A系列处理器于2005年发布。
特点：Cortex-A系列面向高性能应用，用于智能手机、平板电脑、服务器和其他需要较高处理性能的设备。它具有更强大的处理能力、更高的频率和更复杂的功能。
CPU架构：基于ARMv7-A或ARMv8-A架构。

ARM Cortex-R：
时间点：ARM Cortex-R系列处理器于2004年发布。
特点：Cortex-R系列面向实时应用，用于嵌入式系统、汽车电子、工业控制等需要快速响应和可靠性的应用。它具有较低的延迟和更可靠的实时性能。
CPU架构：基于ARMv7-R或ARMv8-R架构。

ARM Cortex-M：
时间点：ARM Cortex-M系列处理器于2004年发布。
特点：Cortex-M系列面向低功耗嵌入式系统，用于微控制器、传感器、物联网设备等资源受限的应用。它具有较低的功耗、小尺寸和高效的实时性能。
CPU架构：基于ARMv6-M或ARMv7-M架构。

常见ARM芯片系列和架构

我们选择的Raspberry Zero w属于ARM11系列，ARMv6 CPU架构，支持wifi。

Raspberry Pi 1 Model A/B/A+/B+:
CPU系列：ARM11系列
CPU架构：ARMv6架构

Raspberry Pi 2 Model B:
CPU系列：ARM Cortex-A系列
CPU架构：ARMv7-A架构

Raspberry Pi 3 Model B/B+:
CPU系列：ARM Cortex-A系列
CPU架构：ARMv8-A架构

Raspberry Pi 4 Model B:
CPU系列：ARM Cortex-A系列
CPU架构：ARMv8-A架构

Raspberry Pi Zero/Zero W:
CPU系列：ARM11系列
CPU架构：ARMv6架构

Raspberry Pi Compute Module 3/3+:
CPU系列：ARM Cortex-A系列
CPU架构：ARMv8-A架构

Raspberry Pi Compute Module 4:
CPU系列：ARM Cortex-A系列
CPU架构：ARMv8-A架构

常见树莓派开发板CPU型号

由于本项目涉及到的软件比较多，我帮大家整理到一起了。

关注微信公众号：人工智能大讲堂，后台回复【rsb】获取模型和所有安装包。

开始吧。

准备硬件

除了开发板外，还需要USB电源，摄像头，miscro SD卡，以及读卡器。某宝上可以买到，然后按下图连接

在这里插入图片描述

准备推理框架

按理讲，硬件就绪后，接下来应该安装操作系统了，为什么要先说推理框架呢？也是出于无奈啊！

我选择的推理框架是tensorflow lite，但它对于ARMv6没有现成的pip安装包,也就是没办法通过下面的命令安装推理运行时。

python3 -m pip install tflite-runtime

有两种解决方法。

第一种是安装好树莓派操作系统后自己准备编译环境，然后从源码编译tensorflow lite whl安装包。

https://www.tensorflow.org/lite/guide/build_cmake_pip

第二种则是去网上找现成的针对ARM v6架构的安装包。

我选择了第二种。

开源的力量是强大的，我在Github上真就找到了一个针对ARM v6架构的whl安装包，虽然是完整的tensorflow安装包，但可以通过导出tensorflow lite来使用推理功能。

import tensorflow as tf
interpreter = tf.lite.Interpreter(model_path=args.model_file)

安装包下载连接

https://github.com/lhelontra/tensorflow-on-arm/releases/download/v2.4.0/tensorflow-2.4.0-cp37-none-linux_armv6l.whl

这里需要注意，该pip安装包是在python3.7环境下编译的，所以树莓派开发板也要安装自带python3.7的操作系统，这也是为什么先确定推理框架的原因。

准备操作系统

接下来就要找自带python3.7的树莓派操作系统。

除了python3.7外，另一个需要考虑的因素是内存，我们本次选择的Raspberry Zero w内存只有500M，为了运行效率，选择操作系统时建议选择不带桌面的Lite版本。

对于内存比较大的开发板，则可以选择带桌面的操作系统，甚至可以选择带预装各种软件环境的操作系统。

图片

幸好，我在Archive找到python3.7的操作系统。

操作系统下载链接

https://downloads.raspberrypi.org/raspios_lite_armhf/images/raspios_lite_armhf-2021-05-28/

下载后保存到另一台电脑硬盘中等待使用。

接下来要通过树莓派自带的工具Raspberry pi Imager将操作系统烧录到miscro sd卡中。

将sd卡放入读卡器，插到另一台电脑USB接口上。

https://www.raspberrypi.com/software/

图片

启动刻录软件

图片

1.选择操作系统->使用自定义镜像

图片

2.选择SD卡

3.设置

3.1勾选设置主机名，输入主机名

3.2勾选开启SSH服务，选择使用密码登录

图片

3.3勾选设置操作系统用户名和密码，输入用户名和密码

3.4勾选配置WIFI，设置热点名和登录密码（可以用手机热点）

图片

4.烧录

烧录成功后，将miscro sd卡插到树莓派sd卡插槽上，连接电源就可以开机了。

远程连接树莓派

由于没有桌面环境，所以需要另一台电脑远程连接到树莓派上，此时Raspberry Zero w支持wifi就起到作用了，安装操作系统时我们会配置网络，树莓派启动后主动连接热点，另一台电脑也连接到同一个热点，就可以远程了。

通过手机热点查看树莓派IP地址。

另一台电脑连接同一个手机热点。

启动另一台电脑的Windows PowerShell。

输入ssh 树莓派用户名@树莓派IP

例如 ssh rsb@192.168.133.223,根据提示需要输入密码。

光有远程还不够，还需要能够在两个系统之间传输文件，推荐在另一台电脑中安装WinSCP。

启动WinSCP，输入树莓派主机名，用户名和密码。

图片

安装软件

安装tensorflow

wget https://github.com/lhelontra/tensorflow-on-arm/releases/download/v2.2.0/tensorflow-2.2.0-cp37-none-linux_armv6l.whl

sudo pip3 install tensorflow-2.2.0-cp37-none-linux_armv6l.whl

安装完成后通过下面命令查看是否安装成功

python -c "import tensorflow as tf;print(tf.reduce_sum(tf.random.normal([100, 100])))"

如果报类似下面这样的错误

TypeError: Descriptors cannot not be created directly.
可以尝试通过下面命令解决

Set PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION=python

安装OpenCV

sudo apt-get -y install libjpeg-dev libtiff5-dev libjasper-dev libpng12-dev
sudo apt-get -y install libavcodec-dev libavformat-dev libswscale-dev libv4l-dev
sudo apt-get -y install libxvidcore-dev libx264-dev
sudo apt-get -y install qt4-dev-tools libatlas-base-dev
sudo apt-get install libgstreamer1.0-dev
sudo apt-get install libopenexr-dev
sudo apt-get install libilmbase-dev

根据环境的不同，可能有些已安装，可能还缺少其他安装包，根据情况安装。

pip3 install opencv-python==3.4.6.27

也可以把上面的版本去掉，安装最新版本。

开始推理

软硬件都准备好后，就可以开始进行推理了。

准备tflite模型

由于tensorflow lite仅支持tflite格式的模型，如果你使用其他框架训练的，需要转换成tflite格式。

由于我的目的是为了演示如何在嵌入式设备上运行推理，所以选择什么模型不重要。

我给大家准备了一个水果分类和检测的模型，关注微信公众号：人工智能大讲堂，后台回复【rsb】获取模型和前面所有安装包。

模型在model文件夹下，cls_model.tflite为分类模型，det_model.tflite为目标检测模型。

图片

分类模型类别标签

图片

目标检测模型类别标签

打开摄像头

树莓派开发板通过外接摄像头来拍摄图像。

sudo raspi-config

选择Interface Options—camera，选择yes，将摄像头权限开启，我们便可以使用树莓派进行摄像头拍照了。

在命令行执行如下命令测试，如果看到文件夹中新增了image.jpg文件，则代表配置成功。

raspistill -t 2000 -o image.jpg

开始推理

import tensorflow as tf
import numpy as np
import cv2



det = true//是分类还是目标检测

model_path="cls_model.tflite"
if det:
  model_path="det_model.tflite"

# 加载分类tflite文件
interpreter = tf.lite.Interpreter(model_path)
interpreter.allocate_tensors()
label_id_offset = 1


# Again, uncomment this decorator if you want to run inference eagerly
def detect(interpreter, input_tensor):
  """Run detection on an input image.

  Args:
    interpreter: tf.lite.Interpreter
    input_tensor: A [1, height, width, 3] Tensor of type tf.float32.
      Note that height and width can be anything since the image will be
      immediately resized according to the needs of the model within this
      function.

  Returns:
    A dict containing 3 Tensors (`detection_boxes`, `detection_classes`,
      and `detection_scores`).
  """
  input_details = interpreter.get_input_details()
  output_details = interpreter.get_output_details()

  # We use the original model for pre-processing, since the TFLite model doesn't
  # include pre-processing.
  preprocessed_image, shapes = detection_model.preprocess(input_tensor)
  interpreter.set_tensor(input_details[0]['index'], preprocessed_image.numpy())

  interpreter.invoke()

  boxes = interpreter.get_tensor(output_details[0]['index'])
  classes = interpreter.get_tensor(output_details[1]['index'])
  scores = interpreter.get_tensor(output_details[2]['index'])
  return boxes, classes, scores

# 定义摄像头
capture = cv2.VideoCapture(0)

while True:
    # 拍照并预处理照片
    ret, frame = capture.read()
    frame = cv2.flip(frame, 1)
    frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
    
    if det:
      resized_image = cv2.resize(frame_rgb, (300, 300))
    else:
      resized_image = cv2.resize(frame_rgb, (224, 224))
      
    resized_image = resized_image .astype(np.float32)
    # 将像素值缩放到0-1范围
    resized_image /= 255.0
    # 将像素值缩放到-1到1范围
    resized_image = (resized_image - 0.5) * 2.0
        
    test = np.expand_dims(resized_image, axis=0)
    input_tensor = tf.convert_to_tensor(test, dtype=tf.float32)
    # 目标检测模型进行检测
    boxes, classes, scores = detect(interpreter, input_tensor)
    viz_utils.visualize_boxes_and_labels_on_image_array(
        test[0],
        boxes[0],
        classes[0].astype(np.uint32) + label_id_offset,
        scores[0],
        category_index,
        use_normalized_coordinates=True,
        min_score_thresh=0.8)
    # 呈现检测结果
    frame = cv2.cvtColor(test[0], cv2.COLOR_BGR2RGB)
    cv2.imshow("Object detector", frame)
    c = cv2.waitKey(20)
    # 如果按q键，则终止
    if c == 113:
        break
cv2.destroyAllWindows()

最终结果

图片

图片

更多推荐

为何学linux及用处

目前企业使用的操作系统无非就是国产类的，windows和linux类。我们要提升自己的技能，需要学习这两款。我记得在大学时期，学习过windows以及linux，但当时觉得又不常用，就学的模棱两可。毕业之后，你会发现，其实这两种操作系统是很主流的。为什么学？下面就是一些工作中遇到的例子分享一下。我记得在企业中有次遇到数

一款固定资产设备管理系统、对常用资产设备进行信息化管理

一、开源项目简介EAM固定资产设备管理系统，满足中小企业基本需求，对常用资产设备进行信息化管理，包含自定义支持各类设备、自带导入导出、维护工作统计、采购管理、文档管理、合同管理等功能。实现企业对资产的基本管理,包含对资产的登记、维修、调拨、转移等基本功能的支持，并提供对资产的耗材、库存进行管理，有完善的组织架构，非常适

2023/09/17

文章目录1.vscode展开所有代码快捷键ctrl+k+j2.git删除所有stash或指定stashgitstashdrop[可选stash名]3.vue在函数默认参数后增加新参数4.gitpush添加“-u”参数5.vscode快捷输入符号$的使用6.WebGL之什么是GLB&GLTF文件？7.WebGL之什么是H

Appium混合页面点击方法tap的使用

原生应用开发，是在Android、IOS等移动平台上利用官方提供的开发语言、开发类库、开发工具进行App开发；HTML5（h5）应用开发，是利用Web技术进行的App开发。目前，市面上很多app都是原生和h5混合开发，这样做的好处在于：1）开发效率高，节约时间同一套代码Android和IOS基本都可用。2）更新和部署比

SpringMVC之JSON返回及异常处理

目录JSON处理导入依赖配置Spring-mvc.xml@ResponseBody注解使用测试目录JSON处理导入依赖配置Spring-mvc.xml@ResponseBody注解使用测试Jackson定义用法常用注解统一异常处理为什么要全局异常处理？异常处理思路SpringMVC异常分类综合案例异常处理方式一异常处理

Call短路触发版本SIP对讲求助终端

SV-2701VPCall短路触发版本SIP对讲求助终端一、描述SV-2701VP是我司的一款壁挂式求助对讲终端，具有10/100M以太网接口，支持G.711与G.722音频解码，其接收SIP网络的音频数据，实时解码播放。配置一路线路输入，一路线路输出，可将内部音源输出到外接功放，还有Mic输入，一路继电器输出和一路呼

Python 3.11的10个高效新特性

1、模式匹配Python3.11引入了模式匹配，可以简化复杂的条件逻辑。下面是一个使用模式匹配来处理不同类型数据结构的例子：defprocess_data(data):matchdata:case0:print("Receivedzero")case[x,y]:print(f"Receivedalist:{x},{y}

基于Qt5的计算器设计

Qt5的信号与槽✨描述：信号槽是Qt框架引以为豪的机制之一。所谓信号槽，实际就是观察者模式(发布-订阅模式)。当某个事件发生之后，比如，按钮检测到自己被点击了一下，它就会发出一个信号（signal）。这种发出是没有目的的，类似广播。如果有对象对这个信号感兴趣，它就会使用连接（connect）函数，意思是，将想要处理的信

Java基础常考知识点（基础、集合、异常、JVM）

Java基础常考知识点基础JDK、JRE、JVM之间的区别hashCode()与equals()之间的关系String、StringBuffer、StringBuilder的区别泛型中extends和super的区别==和equals⽅法的区别重载和重写的区别深拷⻉和浅拷⻉什么是字节码？采⽤字节码的好处是什么？Java

vue3 - 基于 Vue3 + Vite4 + TypeScript5 + Element-Plus + Pinia 技术栈的后台管理系统

GitHubDemo地址在线预览jh-vue3-admin项目地址|在线预览##项目介绍jh-vue3-admin是基于Vue3+Vite4+TypeScript5+Element-Plus+Pinia等最新主流技术栈构建的后台管理系统前端模板。特性：基于vue-admin-template项目升级到vue3版本通过M

Elasticsearch 聚合检索 (分组统计)

1普通聚合分析1.1直接聚合统计(1)计算每个tag下的文档数量,请求语法:GETbook_shop/it_book/_search{"size":0,//不显示命中(hits)的所有文档信息"aggs":{"group_by_tags":{//聚合结果的名称,需要自定义(复制时请去掉此注释)"terms":{"fie

热文推荐
  1. Redis 持久化之 RDB 与 AOF 详解

    Redis持久化我们知道Redis的数据是全部存储在内存中的，如果机器突然GG，那么数据就会全部丢失，因此需要有持久化机制来保证数据不会因为宕机而丢失。Redis为我们提供了两种持久化方案，一种是基于快照，另外一种是基于AOF日志。接下来就来了解一下这两种方案。操作系统与磁盘首先我们需要知道Redis数据库在持久化中扮

  2. 为何学linux及用处

    目前企业使用的操作系统无非就是国产类的，windows和linux类。我们要提升自己的技能，需要学习这两款。我记得在大学时期，学习过windows以及linux，但当时觉得又不常用，就学的模棱两可。毕业之后，你会发现，其实这两种操作系统是很主流的。为什么学？下面就是一些工作中遇到的例子分享一下。我记得在企业中有次遇到数

  3. Linux高性能服务器编程 学习笔记 第五章 Linux网络编程基础API

    我们将从以下3方面讨论Linux网络API：1.socket地址API。socket最开始的含义是一个IP地址和端口对（ip，port），它唯一表示了使用TCP通信的一端，本书称其为socket地址。2.socket基础API。socket的主要API都定义在sys/socket.h头文件中，包括创建socket、命名

  4. 黄金代理前景如何，有得搞吗？

    现货黄金代理这个职业时常都听人说过了，随着近期现货黄金走势不断出现行情，尤其是美国通胀严重，地缘政治局势频发，黄金走势不断获得支撑而走高。在这样的背景下，现货黄金代理这个职业的前景如何呢？其实对于现代人来说，进行现货黄金代理是很好的选择，近些年现货黄金投资人数不断上涨的趋势，所以现货黄金代理也是是除了比特币等加密货币品

  5. go语言基础--面向对象杂谈

    面向过程所谓的面向过程就是：强调的是步骤、过程、每一步都是自己亲自去实现的。面向对象所谓的面向对象其实就是找一个专门做这个事的人来做，不用关心具体怎么实现的。所以说，面向过程强调的是过程，步骤。而面向对象强调的是对象，也就是干事的人。在程序中，可以通过属性和方法（函数）来描述类。属性就是特征，方法（函数）就是行为。面向

  6. ARM架构过程调用标准AAPCS（学习）

    AAPCS是ARM架构的处理器规定的一些标准。参数和返回值传递，对于简单的情况，输入参数由R0-R3分别用来记录第1到4个参数。当传递的参数超过4个时，就需要借助栈来保存参数。函数的返回值通常保存在R0中，若返回值为64位，R1也用来保存返回值。函数调用中的寄存器用法。函数或子程序应该保持R4-R11、R13和R14的

  7. Vue学习笔记总结

    目录1、Vue核心1.1什么是vue?1.2什么是mvvm?​编辑1.3插值表达式{{}}2.Vue中的常用指令2.1内容渲染指令2.2条件渲染指令2.3事件绑定指令2.4属性绑定指令2.5列表渲染指令2.5.1小案例-小黑的书架2.6v-for中的key2.7双向绑定指令3.指令修饰符3.1什么是指令修饰符？3.2按

  8. esbuild中文文档-基础配置项（General options - Tsconfig、Tsconfig raw）

    文章目录TsconfigTsconfigraw结语哈喽，大家好！我是「励志前端小黑哥」，我带着最新发布的文章又来了！老规矩，小手动起来~点赞关注不迷路！esbuild简单介绍esbuild为了突破了JavaScript语言的瓶颈，采用了Go语言编写，构建速度与同代码量下的webpack对比提升在10倍以上，开创了构建工

  9. (并查集) 1971. 寻找图中是否存在路径 ——【Leetcode每日一题】

    ❓1971.寻找图中是否存在路径难度：简单有一个具有n个顶点的双向图，其中每个顶点标记从0到n-1（包含0和n-1）。图中的边用一个二维整数数组edges表示，其中edges[i]=[ui,vi]表示顶点ui和顶点vi之间的双向边。每个顶点对由最多一条边连接，并且没有顶点存在与自身相连的边。请你确定是否存在从顶点sou