2020 TensorFlow 开发者峰会回顾
2020 年 3 月 12 日
发布者:Laurence Moroney,开发者倡导者

感谢所有参加我们 2020 年 TensorFlow 开发者峰会虚拟直播的人!虽然我们无法亲自见面,但我们希望能够让活动比以往任何时候都更容易参与。

我们在本博文回顾了我们分享的所有新更新。您可以在 TensorFlow YouTube 频道上找到主题演讲和谈话的录制视频。

TensorFlow 2.2

在去年开发者峰会上发布 TensorFlow 2.0 之后,我们一直在与用户和社区紧密合作,带来更多增强功能和特性,并且本周发布了 TensorFlow 2.2 的候选发布版本。
TensorFlow ecosystem
在 2.2 中,我们正在延续去年的势头。我们一直专注于性能,努力改进执行核心以提升性能,并让性能测量更一致。我们还引入了新的工具来帮助测量性能,比如新的 性能分析器。此外,我们还提高了 TensorFlow 生态系统的兼容性,包括 TensorFlow Extended 等关键库。最后,我们保留了核心 API,只做增量更改,这样您就可以在将代码从 1.x 移植过来时更有信心。请查看 GitHub 上的 发布 部分以了解更多详情。

TensorFlow 生态系统

TensorFlow 2.2 只是更庞大、不断发展壮大的库和扩展生态系统的一部分,这些库和扩展可以帮助您实现机器学习目标。各种开发者都可以找到合适的工具!
List of services and products from TensorFlow ecosystem
对于研究人员来说,这里有推动机器学习领域最前沿的库。对于应用机器学习工程师或数据科学家来说,这里有帮助您的模型在现实世界中产生影响的工具。最后,生态系统中还有一些库可以帮助您为用户创造更好的 AI 体验,从公平性到优化,从大规模到微型硬件,无所不包。

这一切都得益于 TensorFlow 社区对生态系统的贡献,以及我们共同构建负责任的 AI 的目标。

用于研究的 TensorFlow

TensorFlow 正被用于推动许多不同子领域的机器学习领域最前沿。

例如,考虑最近发布的 T5 论文,其中我们希望 探索使用统一的文本到文本转换器进行迁移学习的极限。在这里,T5 模型在 C4 数据集(可在 TensorFlow 数据集 中获取)上进行了预训练,能够在许多常见的 NLP 基准测试中取得最先进的结果,同时具有足够的灵活性,可以微调到各种下游任务,例如翻译、语法检查和摘要。
T5 模型使用迁移学习的最新技术将所有语言问题转换为文本到文本格式。

此外,我们在去年 NeurIPS 上看到了数百篇使用 TensorFlow 的论文和海报。

我们一直在努力改进研究人员的体验,因此我们重点介绍了一些重要功能。

首先,我们从研究人员那里收到了关于 TensorBoard.dev 的积极反馈,这是一个我们去年推出的工具,它允许您通过 URL 上传和共享实验结果。URL 允许快速可视化超参数扫描。其次,我们通过 TensorBoard 引入了一个新的性能分析器工具,该工具提供对模型性能的一致监控。
TensorBoard
研究人员还告诉我们,他们希望快速更改模型,并将其训练扩展到加速硬件,特别是管理数据提取、转换和加载。考虑到这一点,我们创建了 TensorFlow 数据集 在 tf.data API 中,为研究人员提供对最先进数据集的快速访问。无论您使用这些数据集还是个人数据集,底层的基于 TFRecord 的架构都允许您使用 tf.distribute 构建并行化,以构建最佳输入管道,从而最有效地利用基于 GPU 或 TPU 的训练基础设施。

最后,TensorFlow 生态系统包含可以增强您的实验和与您最喜欢的开源库协作的附加组件和扩展。TF ProbabilityTF Agents 等扩展与 TensorFlow 的最新版本协同工作。来自 Google Research 的实验库,例如 JAX,可以与 TensorFlow 组合使用,例如使用 TensorFlow 数据管道将数据输入 JAX。对于那些真正走向计算前沿的人,请查看 TensorFlow Quantum,这是一个用于快速原型化混合量子经典 ML 模型的库。

应用机器学习

我们对全球范围内各种规模的公司都信任 TensorFlow 处理机器学习工作负载感到谦卑。

我们从用户那里了解到超参数调整,并且从去年年初开始,Google 开源了 Keras Tuner,并鼓励您尝试一下。我们还正在开发一组新的、更轻量级的预处理层,现在处于 实验 阶段。

在谈话 TensorFlow Hub:人人可用的模型 中,Sandeep 谈到我们如何继续扩展 TensorFlow Hub。如今,我们拥有 1000 多个可用的模型,以及相应的文档和代码片段。您可以下载、使用、重新训练和微调这些模型,有时就像将它们添加为 Keras 层一样简单。Hub 上的一些发布者创建了自定义组件来突出他们的出色工作,您可以直接在浏览器中试用您自己的图像或音频剪辑上的模型,无需任何安装。

为了帮助您构建模型,Google Colabratory 是一款托管的 Python 笔记本环境,可让您访问 GPU 和 TPU 资源,这些资源可用于训练 TensorFlow 模型。除了免费层之外,我们最近还推出了新的 Colab Pro 服务,以每月订阅费用提供访问更快的 GPU、更长的运行时间和更多内存。您可以在 Colab 笔记本 这里查看一些好处。在开发者峰会上,Tim Novikoff 做了一个关于 充分利用 Colab:TensorFlow 用户的技巧和窍门 的有趣演讲。

我们还知道,从训练好的模型到业务关键流程,远远不止创建模型架构、训练它和测试它。在规模化生产中构建需要复杂的互联管理流程来保持模型的运行、相关性和更新。考虑到这一点,我们创建了 TensorFlow Extended (TFX)。下面展示了使用 TFX 构建的生产系统的示例高级架构。
TensorFlow Extended
为了让在生产环境中使用 TensorFlow 更容易,我们推出了 Google Cloud AI Platform Pipelines。这些管道旨在让您轻松构建端到端生产管道,就像我们上面展示的那样,构建在 KubeFlow、TFX 和 Google Cloud 之上。您可以在 GCP 上使用 AI Platform Pipelines 与 TensorFlow Enterprise 结合使用,TensorFlow Enterprise 是 TensorFlow 的自定义版本,包含许多优化和企业级长期支持。我们还提供了一个 教程 来帮助您将 Cloud AI Platform Pipelines 与 TFX 结合使用。

部署

TensorFlow 一直专注于让模型和其他计算能够高效地在各种硬件上运行。

对于 TF Lite,我们拥有许多新功能。我们还添加了 Android Studio 集成,它将在 Canary Channel 中很快发布,这将使您能够将 Android Studio 中的元素简单地拖放 - 然后只需点击几下即可自动生成 TF Lite 模型的 Java 类。我们还让模型作者在创建和转换模型时可以提供元数据规范,从而使用户更容易了解模型的工作原理,并在生产环境中使用它。我们还有新的 Model Maker,它允许开发者微调预先存在的模型,而无需进行复杂的机器学习。我们宣布了通过 Apple Neural Engine 进行 Core ML 委托,以使用 TensorFLow Lite 加速最新 iPhone 和 iPad 中的浮点模型。最后,我们继续专注于性能改进,为您的模型在手机 CPU、GPU、DSP 和 NPU 上提供最快的执行速度。

借助 TensorFlow.js,我们继续让 JavaScript 开发人员和 Web 开发人员比以往更容易构建和使用机器学习。我们宣布了一些用于面部和手部跟踪以及 NLP 的新模型,这些模型已准备好用于您的 Web 或 Node.js 应用程序。我们还推出了性能改进、新后端以及与 TensorFlow 2.0 模型训练的更无缝集成。

最后,我们预览了新的 TensorFlow Runtime (TFRT),它可以加速核心循环,并将很快开源。我们还讨论了 MLIR,这是我们共享的编译器基础设施,它统一了运行机器学习计算的基础设施。作为一个具体的变化,我们在 2 月份发布了 TF → TF Lite 转换器,它应该提供更好的错误消息、对控制流的支持以及统一的量化工作流程。这两个功能(TFRT 和 MLIR)使我们能够支持各种硬件和低级库,并使支持更多库变得容易。

社区

当然,社区是我们 TensorFlow 所做一切的核心。您可以通过很多方式参与其中!例如
  • TensorFlow 用户组 正在迅速发展!在我们推出后的短短 7 个月内,全球共有 73 个用户组,韩国的用户组规模最大,拥有 46,000 多名成员。在 2019 年 TensorFlow 路演之后,我们在拉丁美洲推出了前两个 TFUG,分别位于巴西和阿根廷。我们一直在努力鼓励更多用户组的建立,因此,如果您想在您所在地区组建一个用户组,请通过 [email protected] 联系我们!
  • 我们还有一些专门针对各种主题的 特殊兴趣小组。我们最新的图形 SIG 将于 3 月底发布。要详细了解 SIG 和它们的工作方式,请查看 指南
  • 最后,如果您是机器学习和 TensorFlow 领域的思想领袖,请考虑成为 Google 开发者专家,积极通过在活动中演讲、发布内容来支持开发者、公司和技术社区。
如果您对挑战感兴趣,我们正在举办一个新的 Dev Post 挑战,主题为负责任的人工智能,同时还有 Google 暑期代码项目,学生可以在其中与开源组织合作,进行为期 3 个月的编程项目。TensorFlow 团队是参与组织之一,因此请查看 暑期代码项目网站 以了解更多信息。

教育

如果您是大学或其他教育机构,我们有一个计划可以帮助您创建教育内容,用 TensorFlow 教授机器学习。我们将提供各种资源来帮助您取得成功。我们发布了一份关于资金赞助的提案请求,以帮助扩大 AI 领域传统上代表性不足的社区的参与度。更多详细信息可以在 TensorFlow 博客 上找到。如果您想学习 TensorFlow,有许多选择可供选择。

TensorFlow 开发者证书

我们很高兴推出对您 TensorFlow 编码和模型创建技能的评估,这将使您获得 TensorFlow 开发者官方证书,证明您的能力!为了扩大对来自不同背景、经历和视角的人们的获取机会,我们提供了一定数量的补助金,用于支付教育材料和/或考试费用。更多详细信息现在可以在 tensorflow.org/certificate 上找到。 您将被测试对从简单的线性回归到更高级场景(如计算机视觉、自然语言处理和序列建模)的模型创建能力。Coursera 上的 deeplearning.ai TensorFlow:实战 专业课程的教学大纲将帮助您为评估做好准备。获得证书后,您可以在 LinkedIn、GitHub 和新的 TensorFlow 证书网络 上分享!

总结

如您所见,这是一年忙碌的一年,也是成为 TensorFlow 开发者的绝佳时机!要了解更多有关 TensorFlow 的信息,请查看 tensorflow.org,阅读 博客,在 社交媒体 上关注我们,不要忘记订阅我们的 YouTube 频道! 为了方便起见,这里还提供了每个会议的直接链接。
下一篇文章
Recap of the 2020 TensorFlow Dev Summit

作者:Laurence Moroney,开发者倡导者

感谢所有参加我们虚拟 TensorFlow Dev Summit 2020 直播的人!虽然我们无法见面,但我们希望能够让活动比以往任何时候都更容易访问。

我们在这篇博文中回顾了所有我们分享的最新更新。您可以在 TensorFlow YouTube 频道 上找到主题演讲和演讲的录制内容。
TensorFlow 2.2 后…