Arduino 团队的 Sandeep Mistry 和 Dominic Pajak 的客座文章

Arduino 的使命是让机器学习足够简单，任何人都可以使用。在过去的几个月里，我们一直在与 TensorFlow Lite 团队合作，并很高兴向您展示我们一起取得的成果：将 TensorFlow Lite Micro 带到 Arduino Nano 33 BLE Sense。在本文中，我们将向您展示如何安装和运行多个新的 TensorFlow Lite Micro 示例，这些示例现在可在 Arduino 库管理器 中使用。

下面的第一个教程向您展示了如何在 Arduino 板上安装一个神经网络来识别简单的语音命令。

示例 1：运行预训练的 micro_speech 推理示例。

接下来，我们将介绍一个更深入的教程，您可以使用它在 Colab 中使用 TensorFlow 训练您自己的自定义手势识别模型以供 Arduino 使用。此材料基于 Sandeep Mistry 和 Don Coleman 举办的实践研讨会，该研讨会的更新版本 现已在线。

示例 2：训练您自己的手势分类模型。

注意：以下项目基于 TensorFlow Lite for Microcontrollers，该软件目前在 TensorFlow 库 中处于实验阶段。这仍然是一个新兴领域！

微控制器和 TinyML

微控制器，例如 Arduino 板上使用的微控制器，是低成本的单芯片、独立的计算机系统。它们是嵌入在数十亿台日常设备（如可穿戴设备、无人机、3D 打印机、玩具、电饭煲、智能插座、电动滑板车、洗衣机）中的无形计算机。连接这些设备的趋势是物联网的一部分。

Arduino 是一个开源平台和社区，专注于使微控制器应用程序开发对 所有人 易于使用。我们在这里使用的 板 具有以 64 MHz 运行的 Arm Cortex-M4 微控制器，配备 1MB 闪存和 256 KB RAM。与云、PC 或移动设备相比，这很小，但在微控制器标准中是合理的。

Arduino Nano 33 BLE Sense 板比一块口香糖还小

您可能想要在微控制器上挤压 ML 的一些实际原因，包括

• 功能 - 希望智能设备快速且本地（独立于互联网）地行动。
• 成本 - 使用简单、低成本的硬件来实现这一点。
• 隐私 - 不想将所有传感器数据共享到外部。
• 效率 - 更小的设备外形尺寸、能量收集或更长的电池寿命。

我们正在努力实现的最终目标非常重要

• 机器学习可以使微控制器对没有嵌入式开发背景的开发人员变得易于使用。

在机器学习方面，您可以使用一些技术将神经网络模型拟合到像微控制器这样的内存受限设备中。关键步骤之一是 将权重从浮点数量化为 8 位整数。这也使推理计算速度更快，更适用于低时钟速率的设备。

TinyML 是一个新兴领域，还有很多工作要做 - 但令人兴奋的是，那里有广阔的未开发应用空间。数十亿个微控制器与各种传感器结合，在各种地方，将来可能会产生一些非常有创意和有价值的 Tiny ML 应用程序。

开始使用需要什么

• 一块 Arduino Nano 33 BLE Sense 板。
• 一根 Micro USB 线缆，用于将 Arduino 板连接到您的台式机。
• 要对您的板进行编程，您可以使用 Arduino Web 编辑器 或安装 Arduino IDE。我们将在下一节中详细介绍如何设置它们。

Arduino Nano 33 BLE Sense 具有各种板载传感器，这意味着可能有一些很酷的 Tiny ML 应用程序

• 语音 - 数字麦克风
• 运动 - 9 轴 IMU（加速度计、陀螺仪、磁力计）
• 环境 - 温度、湿度和压力
• 光线 - 亮度、颜色和物体接近度

与传统的 Arduino Uno 不同，该板将微控制器与板载传感器相结合，这意味着您可以解决许多用例，而无需额外的硬件或布线。该板也很小，可以用于可穿戴设备等最终应用。顾名思义，它具有蓝牙 LE 连接功能，因此您可以将数据（或推理结果）发送到笔记本电脑、移动应用程序或其他 BLE 板和外设。

提示：USB 记忆棒上的传感器

通过 USB 连接 BLE Sense 板是一种简单的方法，可以捕获数据并将多个传感器添加到单板计算机，而无需额外的布线或硬件 - 例如，对 Raspberry Pi 来说是一个不错的补充。

TensorFlow Lite for Microcontrollers 示例

TensorFlow Lite for Microcontrollers 的推理示例现在已打包并可通过 Arduino 库管理器使用，可以轻松地在 Arduino 上包含并运行它们。在本节中，我们将向您展示如何运行它们。这些示例是

• micro_speech - 使用板载麦克风进行语音识别
• magic_wand - 使用板载 IMU 进行手势识别
• person_detection - 使用外部 ArduCam 相机进行人物检测

有关这些示例的更多背景信息，您可以查看 TensorFlow 库 中的源代码。这些示例中的模型已在之前进行过训练。以下教程向您展示了如何在 Arduino 上部署和运行它们。在下一节中，我们将讨论训练。

如何使用 Arduino Create 网页编辑器运行示例

将 Arduino Nano 33 BLE Sense 连接到台式机上的 USB 线缆后，您将能够通过使用 Arduino Create 网页编辑器在板上编译和运行以下 TensorFlow 示例。

从 Arduino_TensorFlowLite 库编译示例

重点介绍语音识别示例：micro_speech

使用 Arduino 板的第一步之一是让 LED 闪烁。在这里，我们将使用 TensorFlow Lite Micro 来识别语音关键字，从而实现这种方式。它具有简单的“yes”和“no”词汇表。请记住，此模型是在本地在微控制器上运行的，只有 256 KB 的 RAM，因此不要期望商用“语音助手”级别的准确性 - 它没有互联网连接，并且可用的本地 RAM 大约是它的 2000 倍。

请注意，该板也可以由电池供电。由于 Arduino 可以连接到电机、执行器等等，因此这为语音控制项目提供了可能性。

运行 micro_speech 示例

如何使用 Arduino IDE 运行示例

或者，您可以尝试使用 Arduino IDE 应用程序运行相同的推理示例。首先，按照下一节设置 Arduino IDE中的说明进行操作。

在 Arduino IDE 中，您将看到通过文件 > 示例 > Arduino_TensorFlowLite菜单在 ArduinoIDE 中提供的示例。

选择一个示例，草图将打开。要编译、上传并在板上运行示例，请单击箭头图标


对于喜欢使用命令行的高级用户，还有 arduino-cli。

训练用于 Arduino 的 TensorFlow Lite Micro 模型

Arduino BLE 33 Nano Sense 上的手势分类，输出为 Emoji

Arduino IDE 串行绘图仪将显示从您的板子输出的 CSV 数据的实时图形。

$ cat /dev/cu.usbmodem[nnnnn] > sensorlog.csv