由 Jason A. Polzin 博士，GE Healthcare 全球磁共振成像应用和工作流程总经理发布

在这里，我们描述了使用 TensorFlow 训练神经网络以在脑磁共振成像 (MRI) 检查期间识别特定解剖结构的经验，以帮助提高速度和一致性。

简介

MRI（图 1。）是一种 3D 成像技术，使临床医生能够非侵入性地且无需电离辐射地可视化身体结构。MRI 是一种广泛使用且功能强大的成像模式，因为它在“软”组织（例如灰质、白质和脑脊液）之间具有优越的对比度，以及它独特的能力，不仅可以可视化解剖结构，还可以描绘生理学和功能，例如血流、灌注和扩散。

MRI 的关键优势之一是能够以最适合检查目的的方向对身体的特定部位进行成像。这意味着操作员必须仔细规划这些扫描，以产生最佳的图像，这些图像针对每个患者进行独特地定向，以可视化可能感兴趣的特定结构。

图 1. MRI 的力量

图 2. 定位采集示例（3 平面）

挑战

作为 MRI 检查的一部分，扫描操作员首先获取一组低分辨率“定位”图像（图 2），从中可以识别出所需地标的大致位置和方向。然后使用这些解剖学参考手动规划将用于诊断的高分辨率扫描中使用的图像的精确位置、方向和所需覆盖范围。此过程很复杂，因为在所有三个空间维度上，方向、位置和覆盖范围都需要正确。

切片的定位和方向的质量和一致性在很大程度上取决于扫描操作员的技能和经验。此过程可能很耗时且困难，尤其是对于复杂的解剖结构。因此，扫描操作员之间可能存在不一致。这种不一致会使放射科医生解释这些图像的工作变得更加困难，尤其是在患者被扫描作为先前 MRI 检查的后续检查时，他们试图识别解剖结构的细微变化或随着时间的推移疾病进展。在最坏的情况下，无法获得正确的图像，患者必须返回进行另一项程序。

解决方案

为了帮助扫描操作员，我们开发了一个基于深度学习 (DL) 的框架，用于对几种常用的脑部地标进行智能 MRI 切片放置 (ISP)。我们的方法仅使用标准临床定位图像即可自动确定平面方向。这使扫描操作员能够为多个解剖学脑部地标始终如一地获得特定于患者的切片方向：前连合-后连合、眶口、包括多个通过眶和视神经的方向的整个视觉通路、垂体、内耳道、海马体和威利斯环（血管造影）。

我们利用 TensorFlow 库和 Keras 接口来实现基于 DL 的 ISP 框架。我们选择 TensorFlow，因为它为 2D 和 3D 卷积神经网络 (CNN) 提供了现成的支持，这是医学图像体积处理的主要要求，而 Keras API 使得我们能够快速开发和测试我们的想法。

与先前自动切片放置方法不同，我们的 ISP 框架使用深度学习 (DL) 来确定必要的平面，而无需显式描绘地标结构或自定义定位图像。它还可以在定位图像没有足够信息来自动确定最佳扫描平面时向用户发出警告。

定位图像的分辨率非常低，脑部覆盖范围有限，一些细微结构不易识别。使用经典图像分析直接确定感兴趣结构的方向将非常难以实现，因为识别和生成用于实现此目的的特征都将非常容易出错。此外，与经典方法相比，基于 DL 的方法受影响 MRI 图像质量或外观的因素的影响较小。这使我们的 DL 方法对不同诊所和医院的 MRI 硬件、特定于站点的参数设置以及总体患者定位差异具有鲁棒性。

我们基于广义 DL 的方法的另一个主要优势是它可以轻松地扩展到其他解剖结构。使用完全相同的架构，但使用新的训练数据，我们可以为新的解剖结构（例如膝盖、脊柱等）开发自动化技术，这大大减少了开发时间。

图 3. 基于 DL 的智能扫描放置框架

我们的方法包括三个主要步骤（图 3）

1. 图像质量检查：在第一步中，我们检查给定的定位图像是否适合识别所需解剖结构的平面。这是通过使用一个五层、二进制缩减正则 CNN 分类网络模型（我们称之为“LocalizerIQ-Net”）来识别具有相关脑部解剖结构的切片、具有伪影的切片以及不相关的 切片 来实现的。如果定位图像不适合 ISP，则会向扫描操作员提供相关反馈。我们在训练 LocalizerIQ-Net 期间使用内置 TensorFlow 函数进行图像操作来实现数据增强。
2. 解剖覆盖范围的识别：接下来，我们通过整合一个基于形状的语义图像分割 U-Net DL 模型（称为“Coverage-Net”）来定位定位图像中所需解剖结构（大脑）的空间范围。这有助于接下来的处理步骤对跨医院和诊所的成像参数设置变化以及患者解剖结构形状和大小的变化具有鲁棒性。
3. 精确平面方向和位置的识别：对于每个所需的解剖结构（例如视神经），我们使用一个或多个图像分割 3D U-Net 模型（称为“Orientation-Net”）找到最适合对该结构进行成像的扫描平面。Orientation-Net 直接在定位图像上分割所需的平面，然后用于计算方向和位置。

整个过程在高性能 CPU 上需要约 3.5 秒。这些 DL 模型的训练和测试数据来自 1300 多名受试者，这些数据是在来自全球多个临床地点的不同 GE 扫描仪型号和场强下采集的。用于训练的成像数据在患者之间存在对比度、图像分辨率和其他扫描设置的变化。图 4 显示了地面实况标签的示例。

图 4. 脑部 IPS 覆盖范围和方向的 GT 标签示例。（a）、(b)：矢状和冠状方向的覆盖范围掩模；(c)、(d)：以白线显示的拟合平面的中矢状平面掩模（红色）。(e)：沿 AC-PC 平面线（白线）的 AC 和 PC 标签（箭头）。(f)：视神经标签（红色标签）以及视神经平面。(g)：海马体标签以及海马体平面。

LocalizerIQ-Net 使用总共 29,000 张图像（带图像增强）进行训练，并使用 700 张图像进行测试。LocalizerIQ-Net 在独立测试图像上获得了 99.2% 的分类准确率。Coverage-Net 和 Orientation-Net 使用总共 21,770 个体积（带增强）进行训练，并使用 505 个体积进行测试。Orientation-Net 为所需结构获得了小于 1 毫米的平均距离误差和小于 3° 的角度误差，放射科医生认为这可以接受临床使用。

图 5. ISP 在正常受试者案例（左）和病理案例（右）中的性能。

我们的整个 ISP 工作流程已在各种 GE 扫描仪上实现和集成，并在多个临床地点进行了评估。ISP 为定位图像上的各种地标平面提供了准确的切片放置（图 5（左））。我们已经证明，即使图像中存在明显的病理，我们的方法也能有效（图 5（右））。图 6 展示了我们方法的实用性，其中患者头部在三次检查中处于三个截然不同的位置（如顶行所示），但采集的图像（底行）在三个不同的头部姿势中保持一致。这对于纵向检查至关重要，其中地标位置方面的数据一致性有助于提高放射科医生图像阅读效率。

图 6. regardless of various head rotations.

TensorFlow 的优势

我们选择 TensorFlow 作为我们的开发和部署平台，原因如下

• 支持 2D 和 3D 级联神经网络 (CNN)，这是医学图像体积处理的主要要求
• 用于图像操作和优化张量计算的广泛的内置库函数
• 广泛的开源用户和开发人员社区，支持最新的算法实现并使其易于获取
• 持续开发并保持向后兼容性，使代码开发和维护变得更容易
• 图形计算的稳定性使其对产品部署具有吸引力
• Keras 接口可用，这大大减少了开发时间：这有助于根据超参数调整生成和评估不同的模型，并确定用于部署的最准确模型。
• 部署使用基于 TensorFlow Serving CPU 的 Docker 容器和 RestAPI 调用来处理定位图像，一旦获取即进行处理。

AIRx™

GE Healthcare 集成基于深度学习的智能切片放置的产品称为 AIRx 或人工智能处方。这里有一个视频演示了其功能。

我们的测试表明，使用AIRx，扫描操作员确定大脑 MRI 扫描所需扫描平面的位置和方向所需的时间可以减少 40% 到 60%。此外，我们还观察到错误减少和准确性提高。这将导致更短的整体检查时间，减少患者回访的机会，并提高检查诊断质量。

下一步

我们已经开始使用相同的基于 TensorFlow 的平台来自动确定其他常见 MR 手术（包括膝盖和脊柱）的切片方向。DL 使用 TensorFlow 平台实现的功能还将使我们能够自动化 MRI 手术中其他手动任务，作为我们构建完全自主 MRI 扫描仪的目标的一部分。这将使扫描操作员能够专注于患者，而不是为了获得最佳图像质量而对每个患者进行的特定机器设置。

致谢

衷心感谢 GE Healthcare 和 GE 全球研究中心的团队，他们负责开发此功能，特别是 Chitresh Bhushan、Thomas Foo、Dawei Gui、Dattesh Shanbhag 和 Sheila Washburn，他们都为本文做出了贡献。