2023 年 2 月 3 日 - 由高级开发关系工程师 Jen Person 发布 我是那种说我不喜欢立新年目标的人,但后来我还是悄悄地决定做出一些改变。在假期过度放纵之后,我决心吃得更健康、锻炼更多、花更多时间陪伴朋友和家人,并优先考虑我的心理健康……但它们不是 *新年* ……
由高级开发关系工程师 Jen Person 发布
我是那种说我不喜欢立新年目标的人,但后来我还是悄悄地决定做出一些改变。在假期过度放纵之后,我决心吃得更健康、锻炼更多、花更多时间陪伴朋友和家人,并优先考虑我的心理健康……但它们不是 *新年* 目标,我发誓!因为无论你是否喜欢立新年目标,新年的开始都会让你感到充满灵感。就像一块空白的画布,充满了可能性!
今年你决心做出什么改变?如果你想创建一个令人兴奋的新的 Web 项目或将你的工作提升到一个新的水平,那么我建议你添加机器学习 (ML)!
MediaPipe 一直是 Web 开发人员在 Web 应用程序中添加 ML 的首选解决方案。在 2022 年,MediaPipe 手部 NPM 包的下载量约为 70,000 次,姿势包的下载量约为 90,000 次,自拍分割包的下载量超过 130,000 次!
今年,MediaPipe 已扩展到包括 MediaPipe 任务、模型制造商和工作室!任务的命名恰如其分,因为它们可以用于执行常见的 ML 任务,例如 图像分类 和 目标检测。 模型制造商 是一种低代码解决方案,用于定制你的 MediaPipe 任务以满足你的应用程序需求。使用 MediaPipe 工作室,你可以查看 MediaPipe 任务的交互式演示。在未来,你将能够在 MediaPipe 工作室中定制你的任务,而无需编写任何代码。
MediaPipe 的解决方案之所以特别,是因为它们可以在多个平台上使用,包括 Android、Web 和 Python,但鉴于我在 JavaScript 方面的背景,我想借此机会重点介绍 Web。
与服务器端 ML 相比,Web ML 有一些独特的优势
更低的延迟 - 预测直接在用户设备上完成,因此无需等待服务器调用完成。这对于使用摄像头等流组件的应用程序至关重要。
用户隐私 - 由于预测在设备上进行,因此用户的數據永远不会离开他们的设备。
即点即用 - 你的用户无需下载任何额外的应用程序或插件。只需导航到所需的 URL,你的 ML 体验就可以开始了!
MediaPipe 正在更新其产品,包括更多解决方案和定制机会。查看这些新的 MediaPipe 任务
图像分类 - 在训练时定义的一组类别中识别图像代表的内容。
目标检测 - 检测多类目标的存在和位置。
文本分类 - 将文本分类到一组定义的类别中,例如正面或负面情绪。
手势识别 - 从用户那里识别特定手势,并调用与这些手势相对应的应用程序功能。
手部关键点检测 - 定位手的关键点,并在手上呈现视觉效果。
MediaPipe 将在 2023 年添加更多令人兴奋的解决方案,所以请关注下一步!
这些解决方案中的许多都提供使用 MediaPipe 模型制造商 进行定制。MediaPipe 模型制造商包是一个简单、低代码的解决方案,用于定制设备上的 ML 模型,包括 Web 模型。使用 MediaPipe 工作室,你可以在浏览器中对解决方案进行原型设计和基准测试!
到目前为止,我们许多新年目标都已经放弃了。但现在做出新的目标还为时不晚!为什么不决心使用 MediaPipe 的 Web 解决方案构建一些令人惊叹的东西呢?
在 女性机器学习研讨会 上,MediaPipe 团队主持了一个研讨会,介绍了如何使用 MediaPipe 解决方案的手势识别任务创建一个石头剪刀布游戏。通过关注 YouTube 上的研讨会 并使用相应的 Colab 笔记本,学习如何训练自定义手势识别器。你也可以在 Codepen 上查看游戏的完整版本。
上传图像时,运行图像分类以自动添加相关标签。查看 图像分类任务文档 和 Codepen 演示,了解如何开始。你甚至可以 定制你的模型 以添加自己的标签,以满足你的需求。
想知道你的用户有什么感受吗?对文本进行情绪分析,将其分类为正面或负面。查看 文档 和 Codepen 演示,了解它是如何完成的。最棒的是,你也可以 定制你的模型,以便根据你的需要对文本进行分类!
让我们面对现实:你比我更有创意!所以,当你使用 MediaPipe 解决方案构建了一些很棒的东西时,请在 TensorFlow 论坛、LinkedIn 或 Twitter 上与我们分享!