2022 年 5 月 17 日 — 作者:Scott Main,AIY 项目和 Coral 回溯到 2017 年,我们启动了 AIY 项目,旨在让任何人都可以参与 DIY 人工智能项目。我们的第一个项目是 AIY 语音套件,它允许你构建自己的智能设备,并响应语音指令。然后我们发布了 AIY 视觉套件,它可以识别其摄像头所看到的物体,并在设备上使用 TensorFlow…
作者:Scott Main,AIY 项目和 Coral
回溯到 2017 年,我们启动了 AIY 项目,旨在让任何人都可以参与 DIY 人工智能项目。我们的第一个项目是 AIY 语音套件,它允许你构建自己的智能设备,并响应语音指令。然后我们发布了 AIY 视觉套件,它可以识别其摄像头所看到的物体,并在设备上使用 TensorFlow 模型。我们对人们使用这些套件构建的项目感到惊叹,并为看到教育项目使用它们将年轻工程师引入计算机科学和机器学习 (ML) 的可能性而感到兴奋。因此,我非常高兴能继续我们的使命,通过更强大、更可定制的 AIY Maker 套件,将机器学习带给每个人。让 ML 触手可及
语音套件和视觉套件非常有趣,它们包含很棒的程序,展示了在小型设备上使用 ML 的可能性。然而,它们没有提供工具或程序来帮助初学者实现自己的 ML 项目想法。当我们在 2017 年发布这些套件时,训练 ML 模型实际上非常困难,而将模型运行在 Raspberry Pi 这样的设备上更具挑战性。如今,如果你有一些 ML 经验,并且知道在哪里寻找帮助,那么在不到一个小时内在你的网页浏览器中训练一个物体检测模型,或者在电池供电设备上运行一个姿态检测模型并不奇怪。但如果你没有任何经验,那么发现最新的 ML 工具可能很困难,更不用说开始使用它们了。
我们希望通过 Maker 套件解决这个问题。在这个套件中,我们没有提供任何新的硬件或 ML 工具;我们提供的是简化的工作流程和一系列使用最新工具训练 TensorFlow Lite 模型并在小型设备上执行它们的教程。因此,它使用了所有现有的技术,但包装得更好,这样初学者就可以停止搜索,立即开始构建不可思议的东西。
简化的工具,助你成功
我们为 Maker 套件收集和创建的材料提供了端到端的体验,非常适合教育项目和只想尽快使用 ML 制作东西的用户。
硬件设置需要一台 Raspberry Pi、一个 Pi 摄像头、一个 USB 麦克风和一个 Coral USB 加速器,这样你就可以在 Coral Edge TPU 上高速执行高级视觉模型。如果你想要一个带外壳的硬件,我们提供两种 DIY 选项:3D 打印外壳设计或使用家用材料构建的纸板外壳。
启动后运行我们的 Maker 套件系统镜像,只需运行一些代码示例并遵循我们的编码教程。你将很快发现,用 ML 完成令人惊叹的事情是多么容易,这些事情最近被认为只有专家才能做到,包括物体检测、姿态分类和语音识别。
我们的代码示例使用了一些预训练模型,你可以从 Coral 模型库 中获取更多在 Edge TPU 上加速的模型。然而,训练你自己的模型可以让你探索全新的项目想法。因此,Maker 套件还提供逐步教程,向你展示如何收集自己的数据集并训练你自己的视觉和音频模型。
最后但同样重要的是,我们希望你几乎所有时间都花在编写与你的项目独一无二的代码上。因此,我们创建了一个 Python 库,将执行推理所需的代码量减少到项目的一小部分。例如,以下是如何运行物体检测模型并在实时摄像头馈送中绘制带标签的边界框:
from aiymakerkit import vision
from aiymakerkit import utils
import models
detector = vision.Detector(models.OBJECT_DETECTION_MODEL)
labels = utils.read_labels_from_metadata(models.OBJECT_DETECTION_MODEL)
for frame in vision.get_frames():
objects = detector.get_objects(frame, threshold=0.4)
vision.draw_objects(frame, objects, labels)
我们的目的是隐藏你不需要的代码。你仍然可以访问结构化的推理结果和程序流,但无需任何样板代码来处理模型。
这个 aiymakerkit 库基于 TensorFlow Lite,并且在 GitHub 上可用,因此我们邀请你探索内部结构并扩展 Maker Kit API 以用于你的项目。
入门
我们创建 Maker 套件是为了使其完全可定制,以适应你的项目。因此,我们没有提供所有材料在一个带有预定设计的盒子中,而是设计了它,使用商店中已经可用的硬件(列在我们网站上),并提供可选的说明来构建你自己的外壳。
要开始使用,请访问我们网站上的 g.co/aiy/maker,收集所需的材料,刷入我们的系统镜像,并遵循我们的编程教程,开始探索各种可能性。有了这个开始,我们迫不及待地想看看你将创造出什么,可以构建完全在嵌入式系统上运行的智能应用程序。