为什么以及如何在边缘设备上运行机器学习算法

基于复杂的机器学习算法分析大量数据需要强大的计算能力。因此，大量数据处理发生在本地数据中心或基于云的基础架构中。但是，随着功能强大，低能耗的物联网设备的出现，现在可以在诸如机器人本身之类的边缘设备上执行计算。这就催生了在网络边缘部署“基于边缘的” ML的高级机器学习方法（如卷积神经网络或CNN）的时代。

以下各节重点介绍将从基于边缘的ML和现有的硬件，软件和服务中受益最大的行业。 机器学习 在网络边缘上实现的方法。

医疗保健中的边缘设备

在必须立即做出基于数据处理的决策的情况下，需要进行设备上数据分析。例如，可能没有足够的时间将数据传输到后端服务器，或者根本没有连接。

重症监护是可以从基于边缘的ML中受益的领域，在该领域中，实时数据处理和决策对于必须将关键生理参数（例如血糖水平或血压）维持在特定范围内的闭环系统很重要。价值观。

随着硬件和机器学习方法变得越来越复杂，可以通过边缘设备监视和分析更复杂的参数，例如神经活动或心律。

可以从基于边缘的数据处理中受益的另一个领域是“ambient intelligence”（AmI）。 AmI是指对人的存在敏感并能做出响应的边缘设备。它可以增强人与环境之间的交互方式。

老年人的日常活动监控是AmI的一个示例。用于辅助生活的智能环境的主要目标是快速发现诸如跌倒或起火之类的异常，并通过致电紧急帮助立即采取行动。

边缘设备包括智能手表，固定式麦克风和照相机（或移动机器人上的照相机），以及可穿戴的陀螺仪或加速度计。每种类型的边缘设备或传感器技术都有其优点和缺点，例如对隐私的关注 摄影机 或定期为可穿戴设备充电。

采矿，石油和天然气以及工业自动化

基于边缘的机器学习的商业价值在石油，天然气或 矿业 行业，公司员工在远离人口稠密地区的站点中工作，那里不存在连通性。边缘设备上的传感器 如机器人 可以捕获大量数据并准确预测诸如泵两端的压力或超出其正常值范围的运行参数之类的信息。

连接性也是制造中的一个问题，在这种情况下，对机器进行预测性维护可以减少不必要的成本并延长设备的使用寿命。 工业资产。传统上，工厂会定期使机械下线，并根据设备制造商的规格进行全面检查。但是，这种方法昂贵且效率低下，并且没有考虑每台机器的特殊操作条件。

或者，工厂或仓库内所有机器的嵌入式传感器可以读取读数并将深度学习应用于静止图像，视频或音频，以识别指示未来设备故障的模式。

边缘设备和ML框架

下表描述了一些在边缘设备上运行的最流行的ML框架。这些框架中的大多数为语音识别，对象检测，自然语言处理（NLP）以及图像识别和分类等提供了预训练的模型。他们还为数据科学家提供了选择，以利用转移学习或从头开始并开发自定义ML模型。

适用于IoT边缘设备的流行ML框架

框架名称	边缘设备要求
TensorFlow Lite – Google	Android，iOS，Linux，微控制器（ARM Cortex-M，ESP32）
用于Firebase的ML套件– Google	Android，iOS
PyTorch Mobile – 脸书	Android，iOS
核心ML 3 –苹果	的iOS
嵌入式学习库（ELL）– 微软	Raspberry Pi，Arduino，micro：bit
Apache MXNet – Apache软件 基金会（ASF）	Linux，Raspberry Pi，NVIDIA Jetson

TensorFlow Lite由Google开发，并具有适用于多种编程语言的应用程序编程接口[API]，包括Java，C ++，Python，Swift和Objective-C。它针对设备上应用程序进行了优化，并提供了针对设备上ML调整的解释器。自定义模型以TensorFlow Lite格式转换，并且其大小经过优化以提高效率。

ML for Firebase也由Google开发。它面向移动平台，并使用TensorFlow Lite，Google Cloud Vision API和Android Neural Networks API来提供设备上的ML功能，例如面部检测，条形码扫描和对象检测等。

PyTorch Mobile由Facebook开发。当前的实验版本以两个主要的移动平台为目标，并在经过训练并保存为Torchscript模型的移动设备模型上进行部署。

Core ML 3来自Apple，是自其原始版本以来Core ML的最大更新，支持多种ML方法，尤其是与深度神经网络有关的方法。

ELL是Microsoft的软件库，可在小型单板计算机上部署ML算法，并具有适用于Python和C ++的API。模型在计算机上编译，然后在边缘设备上部署和调用。

最后，Apache MXNet支持许多编程语言（Python，Scala，R，Julia，C ++，Clojure等），其中python API在训练模型上提供了大多数改进。

边缘设备硬件

在大多数现实生活用例中，要求边缘设备完成的任务是图像和语音识别，自然语言处理以及异常检测。对于此类任务，最好的机器算法属于深度学习领域，在该领域中，多层用于根据输入来传递输出参数。

由于深度学习算法的性质要求大型并行矩阵乘法，因此用于边缘设备的最佳硬件包括专用集成电路（ASIC），现场可编程门阵列（FPGA），基于RISC的处理器和嵌入式图形处理单元（GPU）。

表2总结了一些流行的边缘设备以及相应的硬件规格。

流行的边缘设备及其硬件规格

边缘设备	显卡	中央处理器	ML软件支持
珊瑚SoM – Google	威凡特GC7000Lite	四核ARM Cortex- A53 +皮质M4F	TensorFlow Lite，AutoML Vision Edge
英特尔 NCS2	Movidius Myriad X VPU（不是GPU）		TensorFlow，Caffe，OpenVINO工具包
树莓派4	VideoCore VC6	四核ARM Cortex- A72	TensorFlow，TensorFlow Lite
NVIDIA Jetson TX2	NVIDIA Pascal	双Denver 2 64位 +四核ARM A57	TensorFlow，Caffe
RISC-V GAP8			TensorFlow
ARM精神N-77	集群中有8个NPU，64个 网格中的NPU		，Caffe2，PyTorch， MXNet，ONNX
ECM3531 A – Eta 计算	ARM Cortex-M3 + 恩智浦CoolFlux DSP		TensorFlow，Caffe

Google的Coral System-on-Module（SoM）是针对ML应用程序的完全集成的系统，包括CPU，GPU和边缘张量处理单元（TPU）。 Edge TPU是一种ASIC，可加速深度学习网络的执行并每秒执行4万亿次操作（tera-operations）
（TOPS）。

The 英特尔 Neural 计算 Stick 2 (NCS2) looks like a standard USB thumb drive and is built on the latest 英特尔 Movidius Myriad X视觉处理单元（VPU）是具有专用神经计算引擎的片上系统（SoC）系统，用于加速深度学习推理。

树莓派4是基于Broadcom BCM2711 片上系统的单板计算机，运行其自己的Debian OS（Raspbian）版本。如果Coral USB连接到其USB 3.0端口，则可以加快ML算法的速度。

NVIDIA Jetson TX2是嵌入式的 片上系统 用于部署计算机视觉和深度学习算法。该公司还提供 杰特逊Xavier NX.

RISC-V GAP8由Greenwaves 技术领域设计，是基于RISC-V的超低功耗，八核处理器，经过优化，可以执行用于图像和音频识别的算法。部署之前，必须通过开放神经网络交换（ONNX）开放格式将模型移植到TensorFLow。

ARM精神N-77是多核神经处理单元（NPU），属于ARM Ethos ML重点产品家族。它提供了多达4个TOP的性能，并支持用于图像/语音/声音识别的多种ML算法。

ECM3531是Eta 计算的ASIC，基于ARM Cortex-M3架构，能够以很少的毫瓦执行深度学习算法。程序员可以选择在DSP上运行深度神经网络，从而进一步降低功耗。

结论

由于边缘设备的内存和计算资源有限，因此在大多数情况下在设备上训练大量数据是不可行的。深度学习模型在功能强大的本地或云服务器实例中进行训练，然后部署在边缘设备上。

开发人员可以使用多种方法来解决此问题：设计省电的ML算法，开发更好，更专业的硬件以及发明新的分布式学习算法，其中所有IoT设备都可以通信和共享数据。

最后一种方法受到网络带宽的限制，因此，未来的提供超可靠，低延迟通信服务的5G网络将在以下方面提供巨大帮助： 边缘计算.

此外，基于边缘的ML已显示可增强边缘设备捕获的数据集的隐私性和安全性，因为可以对其进行编程以丢弃敏感数据字段。由于边缘设备处理数据，丰富数据（通过添加元数据）然后将其发送到后端系统，从而改善了整体系统响应时间。

我相信，设备硬件和ML算法设计的进一步发展将为许多行业带来创新，并将真正展示出基于边缘的机器学习的变革能力。

关于作者

福蒂斯·康斯坦丁尼迪斯（Fotis Konstantinidis）是的常务董事兼人工智能和数字转型负责人 烈性黑啤酒。他在数据挖掘，高级分析，数字策略和数字技术在企业中的集成方面拥有超过15年的经验。

康斯坦丁尼迪斯（Konstantinidis）作为加州大学洛杉矶分校（UCLA）神经影像实验室的大脑研究人员开始应用数据挖掘技术，重点是为阿尔茨海默氏病患者识别数据模式。他还是在基因组进化领域应用机器学习技术的领先者之一。 Konstantinidis已在银行，零售，汽车和能源等多个行业中实施了AI。

之前 加入烈性黑啤酒，康斯坦丁尼迪斯（Konstantinidis）在麦肯锡CO-OP金融服务公司担任领导领导职务，领导AI驱动的产品和服务&公司，签证和埃森哲。