联邦学习

引言

一种被称为联邦学习（简称 FL）的分布式神经网络方法，使得多个服务器和设备能够协同工作，共同训练一个预测算法，同时保持数据的自主性。预测模型是在每个设备上开发的，而不是通过从中央服务器传输数据进行训练。只有模型的更新，包括变化和测量，才与其他设备共享，从而增强了隐私，降低了延迟，并利用了多个设备上的可用处理能力。去中心化系统、数据、模拟聚合、隐私保护、效率和灵活性构成了重要的方面。

应用包括物联网和互联社区、医疗保健、手持设备和金融——这些都是数据保护至关重要的领域。设备多样性、通信相关开销、维护匿名性和安全性以及实现收敛过程以获得性能是面临的挑战。

联邦训练的运作

联邦学习初始化工作流程详解

初始化

• 中央服务器初始化一个全局模型，该模型可以随机初始化参数或在公共数据集上预训练。
• 然后，每个参与的设备（例如，智能手机、物联网设备）都可以访问全局模型。

本地训练

• 全局模型被发送到每个设备，该设备使用自己的本地数据对其进行训练。这意味着将数据分成更小的批次。
• 计算梯度需要进行前向和后向传播。
• 应用诸如随机梯度下降（SGD）之类的优化技术来更新模型的参数。
• 通常，会将几个 epoch（本地数据迭代次数）用于本地训练。

模型更新

• 每个设备在本地训练后计算模型参数的更新。
• 中央服务器接收这些更新，例如梯度或模型权重的变化。
• 设备可以：使用量化等技术压缩更新，以保持效率和隐私。
• 差分隐私的更新应包含噪声。

互动

• 将模型更新从设备传输到中央服务器是通信步骤。
• 优化带宽的方法包括：不频繁发送更新（例如，每几个 epoch 一次）。
• 通过稀疏化仅发送重要的更新。

组合 (Combination)

• 中央服务器合并接收到的更新以创建新的全局模型。典型的聚合方法包括
• 对所有接收到的更新求平均称为简单平均。
• 对具有更多数据或更好模型性能的设备的更新赋予更高权重的加权平均。
• 合并后的模型已刷新，并准备进行下一个周期。

重复

• 设备接收回更新后的全局模型。
• 当全局模型在验证集上的性能稳定或满足预定标准时，模型将收敛，然后重复步骤 2 到 5，直到发生这种情况。

联邦学习示例

医疗保健应用程序

• 为了改进诊断工具同时保护患者隐私，医院可以在不共享实际数据的情况下，对敏感患者数据进行模型训练。
• 一个例子是，使用来自多家医院的患者数据协同训练疾病预测模型。

移动设备

• 在不将用户数据传输到中央服务器的情况下定制服务，例如语音助手、推荐引擎和预测文本。
• 通过学习不同智能手机上的用户输入模式来提高预测文本键盘的准确性。

智慧城市和物联网

• 通过使用来自分散传感器和设备的数据来训练模型，可以在无需数据集中化的情况下改进城市服务。
• 例如，考虑通过收集城市范围内智能交通信号灯的数据来优化交通流量。

金钱 (Money)

• 金融机构和银行可以合作创建欺诈检测模型，而无需披露私有的交易信息。
• 一个例子是，使用来自多家银行的交易数据来训练一个用于检测欺诈交易的模型。