使用 MediaPipe 为 Web 开发人员提供新的机器学习解决方案,激发 2023 年的灵感
2023 年 2 月 3 日

由高级开发关系工程师 Jen Person 发布

我是那种说我不喜欢立新年目标的人,但后来我还是悄悄地决定做出一些改变。在假期过度放纵之后,我决心吃得更健康、锻炼更多、花更多时间陪伴朋友和家人,并优先考虑我的心理健康……但它们不是 *新年* 目标,我发誓!因为无论你是否喜欢立新年目标,新年的开始都会让你感到充满灵感。就像一块空白的画布,充满了可能性!

今年你决心做出什么改变?如果你想创建一个令人兴奋的新的 Web 项目或将你的工作提升到一个新的水平,那么我建议你添加机器学习 (ML)!

新年新方案

MediaPipe 一直是 Web 开发人员在 Web 应用程序中添加 ML 的首选解决方案。在 2022 年,MediaPipe 手部 NPM 包的下载量约为 70,000 次,姿势包的下载量约为 90,000 次,自拍分割包的下载量超过 130,000 次!

今年,MediaPipe 已扩展到包括 MediaPipe 任务、模型制造商和工作室!任务的命名恰如其分,因为它们可以用于执行常见的 ML 任务,例如 图像分类目标检测模型制造商 是一种低代码解决方案,用于定制你的 MediaPipe 任务以满足你的应用程序需求。使用 MediaPipe 工作室,你可以查看 MediaPipe 任务的交互式演示。在未来,你将能够在 MediaPipe 工作室中定制你的任务,而无需编写任何代码。

MediaPipe 的解决方案之所以特别,是因为它们可以在多个平台上使用,包括 Android、Web 和 Python,但鉴于我在 JavaScript 方面的背景,我想借此机会重点介绍 Web。

与服务器端 ML 相比,Web ML 有一些独特的优势

更低的延迟 - 预测直接在用户设备上完成,因此无需等待服务器调用完成。这对于使用摄像头等流组件的应用程序至关重要。

用户隐私 - 由于预测在设备上进行,因此用户的數據永远不会离开他们的设备。

即点即用 - 你的用户无需下载任何额外的应用程序或插件。只需导航到所需的 URL,你的 ML 体验就可以开始了!

MediaPipe 正在更新其产品,包括更多解决方案和定制机会。查看这些新的 MediaPipe 任务

图像分类 - 在训练时定义的一组类别中识别图像代表的内容。

Photo of an American Flamingo facing left with ttext 'Flamingo 95%'

目标检测 - 检测多类目标的存在和位置。

Image of a dog on the left and a cat on the right with respective Object detection labels 'dog' and 'cat'

文本分类 - 将文本分类到一组定义的类别中,例如正面或负面情绪。

Image showing input text in a white bubble reads 'Great movie with a classic plot. I will recommend this to everyone.'and Output showing five turquoise stars and a white thumbs up against a green background

手势识别 - 从用户那里识别特定手势,并调用与这些手势相对应的应用程序功能。

Image showing a hand giving thumbs up gesture. Text in a white bubble reads 'Thumbs up 63%'

手部关键点检测 - 定位手的关键点,并在手上呈现视觉效果。

Image showing a hand holding an egg. White lines with blue nodes indicate the detection of landmarks in the hand in the image

MediaPipe 将在 2023 年添加更多令人兴奋的解决方案,所以请关注下一步!

根据你的需求定制

这些解决方案中的许多都提供使用 MediaPipe 模型制造商 进行定制。MediaPipe 模型制造商包是一个简单、低代码的解决方案,用于定制设备上的 ML 模型,包括 Web 模型。使用 MediaPipe 工作室,你可以在浏览器中对解决方案进行原型设计和基准测试!

决心做出伟大的事情!

到目前为止,我们许多新年目标都已经放弃了。但现在做出新的目标还为时不晚!为什么不决心使用 MediaPipe 的 Web 解决方案构建一些令人惊叹的东西呢?

创建一个石头剪刀布游戏

女性机器学习研讨会 上,MediaPipe 团队主持了一个研讨会,介绍了如何使用 MediaPipe 解决方案的手势识别任务创建一个石头剪刀布游戏。通过关注 YouTube 上的研讨会 并使用相应的 Colab 笔记本,学习如何训练自定义手势识别器。你也可以在 Codepen 上查看游戏的完整版本。

对你的图像进行分类

上传图像时,运行图像分类以自动添加相关标签。查看 图像分类任务文档Codepen 演示,了解如何开始。你甚至可以 定制你的模型 以添加自己的标签,以满足你的需求。

Cropped Screen grab of Mediapipe Image Classifier for web Codepen demo showing the image of a dog under text which reads Demo: Classify images Click in an image below to see its classification

运行情绪分析

想知道你的用户有什么感受吗?对文本进行情绪分析,将其分类为正面或负面。查看 文档Codepen 演示,了解它是如何完成的。最棒的是,你也可以 定制你的模型,以便根据你的需要对文本进行分类!

Cropped Screen grab of Mediapipe Text Classifier for web Codepen demo showing the image of a dog under text which reads Demo: Classify images Click in an image below to see its classification

[你的想法在这里]

让我们面对现实:你比我更有创意!所以,当你使用 MediaPipe 解决方案构建了一些很棒的东西时,请在 TensorFlow 论坛LinkedInTwitter 上与我们分享!

下一篇文章
Get inspired in 2023 with new machine learning solutions for web developers with MediaPipe

- 由高级开发关系工程师 Jen Person 发布 我是那种说我不喜欢立新年目标的人,但后来我还是悄悄地决定做出一些改变。在假期过度放纵之后,我决心吃得更健康、锻炼更多、花更多时间陪伴朋友和家人,并优先考虑我的心理健康……但它们不是 *新年* ……