作者：Shuang Song 和 David Marn

成员推理攻击概述。攻击者试图弄清楚哪些样本是训练数据的一部分。

今天，我们很高兴宣布在 TensorFlow Privacy (GitHub) 中推出一个新的实验模块，该模块允许开发人员评估其分类模型的隐私属性。

隐私是机器学习社区中的一个新兴话题。目前还没有关于如何生成私有模型的规范指南。越来越多的研究表明，机器学习模型可以泄露训练数据集的敏感信息，从而对训练集中的用户造成隐私风险。

去年，我们推出了 TensorFlow Privacy，使开发人员能够使用 差分隐私 来训练他们的模型。差分隐私在训练数据集中添加噪声以隐藏单个样本。但是，这种噪声是针对学术界最坏情况设计的，会显着影响模型的准确性。

这些挑战促使我们从不同的角度解决隐私问题。几年前，围绕机器学习模型隐私属性的研究开始 出现。成本效益高的“成员推理攻击”可以预测特定数据片段是否在训练过程中使用过。如果攻击者能够以高准确率做出预测，他们很可能成功地找出数据片段是否在训练集中使用过。成员推理攻击的最大优势在于它易于执行，即不需要任何重新训练。

测试会生成一个漏洞评分，该评分可以确定模型是否泄露了训练集的信息。我们发现，这种漏洞评分通常会随着启发式方法（例如提前停止或在训练中使用 DP-SGD）的应用而降低。

针对 CIFAR10 模型的成员推理攻击。x 轴是模型的测试准确率，y 轴是漏洞评分（越低越私密）。在测试准确率保持不变的情况下，漏洞会增加——更好的泛化能力可以防止隐私泄露。

不出所料，差分隐私有助于降低这些漏洞评分。即使使用非常少量的噪声，漏洞评分也会降低。

在内部使用成员推理测试后，我们将其与开发人员分享，以帮助他们构建更私密的模型，探索更好的架构选择，使用正则化技术（例如提前停止、dropout、权重衰减和输入增强），或收集更多数据。最终，这些测试可以帮助开发人员社区识别更多包含隐私设计原则和数据处理选择的架构。

我们希望这个库将成为一个强大的隐私测试套件的起点，该套件可以被世界各地的任何机器学习开发人员使用。展望未来，我们将探索将成员推理攻击扩展到分类器以外的可行性，并开发新的测试。我们还将探索通过与 TFX 集成将此测试添加到 TensorFlow 生态系统中。

联系 [email protected] 并告诉我们您如何使用这个新模块。我们很乐意倾听您的故事、反馈和建议！

鸣谢：Yurii Sushko、Andreas Terzis、Miguel Guevara、Niki Kilbertus、Vadym Doroshenko、Borja De Balle Pigem、Ananth Raghunathan。