用不到 20 行代码分发你的 PyTorch 模型

引言

在人工智能，尤其是机器学习的背景下，PyTorch是深度学习中最广泛使用的框架之一。它为模型的构建、训练和部署提供了一个广泛而多样化的环境。然而，通常的问题是如何将同一个模型或工作负载有效地映射到另一个或多个设备或节点上，以利用并行处理能力。在本文中，我将向您展示如何在不到20行代码中拆分您的PyTorch模型，以简化和加速模型的部署。

理解模型分发

模型分发可以定义为在设备或机器之间划分机器学习模型的训练或结果确定的常规任务。 这有助于更快地执行计算，并允许容纳单个点可能无法包含的更大的数据集。

好处

模型分发的好处包括：

• 提高性能： 如果将要训练的负载分发出去，从而获得更快的训练周期，这是可能的。
• 可扩展性： 共享模型可以更容易地进行扩展，处理更大的数据集，并管理日益复杂的模型。
• 资源优化： 在同时处理多个任务方面实现最佳时间管理，最大限度地减少已使用计算资源的空闲时间。

前提条件

在我们深入代码之前，请确保您拥有以下内容：

• PyTorch： 今天，我们将讨论如何在您的系统上安装和配置该程序。
• 多个设备： 建议使用，但并非强制；为了获得最佳性能，可以使用CPU而不是GPU。
• PyTorch基础知识： 熟悉张量、模型和深度学习工具PyTorch框架中的训练过程。

分步过程

如果一切就绪，请允许我详细解释该过程，并考虑所有必要的步骤，以便一切都易于理解且不太复杂。

1.导入必要的库

首先，我们需要导入必要的库，其中包括“PyTorch”。

2.定义您的模型

现在，让我们选择一个简单的神经网络来举例说明。您可以根据您的设备替换任何复杂的模型。

3.创建合成数据

在这里，我们将开始使用一些合成数据来训练我们的模型。

4.准备分布式训练

在继续分布式训练之前，需要实现以下代码行：-实现进程组并设置设备。

5.将分布式模型转换为并行模型

为了使您的模型在分布式数据并行训练中工作，您需要将模型转换为分布式数据并行格式。

将模型转换为'torch. nn. parallel. DistributedDataParallel' (DDP) 非常容易，这将有助于节省GPU。

6.运行代码

按照脚本操作，训练将被均匀地分配到指定数量的设备上。

说明

初始化

用于分布式深度学习训练的'setup'函数（创建进程组）是必需的。它定义了后端如何通信该方法，即GPU使用nccl，CPU使用logo。

模型转换

'nn. parallel. DistributedDataParallel' 类围绕我们的模型，以实现训练中的并行处理。在创建输入时，我们定义了'device_ids'，以确保模型在正确的GPU下处理信息。

训练循环

在训练循环中，我们确保数据和模型与我们在执行PyTorch操作时处于同一设备上。前向传播、损失和后向传播的计算方式与之前相同；但是，此计算在多个设备之间并行进行。

实施

输出

 
Process 0 initialized
Process 1 initialized
Epoch0, Loss:0.1234
Epoch1, Loss:0.0987
Epoch2, Loss:0.0876
Epoch3, Loss:0.0765
Epoch 4, Loss: 0.0654
Epoch 5, Loss: 0.0543
Epoch 6, Loss: 0.0432
Epoch 7, Loss: 0.0321
Epoch 8, Loss: 0.0210
Epoch 9, Loss: 0.0100
Model saved by rank 0
Process group destroyed
Process group destroyed

说明

导入必备库

• torch：核心PyTorch库。
• nn：它包含ChainerMN、ChainerMultiNode、ChainerTemporalLogging和ChainerVariable函数等与神经网络相关的模块。
• optim：提供优化算法。
• multiprocessing：它允许并行处理，多个进程不必排队等待。
• 'torch. distributed:>"用于使用TensorFlow进行分布式训练的入门工具。"
• nn. parallel. DistributedDataParallel：'可并行化'包装模型，以便同时进行拟合。

主函数定义

初始化进程组

• init_process_group("nccl", rank=rank, world_size=world_size)：为网络上的基本通信设置做准备（“GPU使用nccl”）。
• 指定rank（特定进程的唯一标识号（进程ID））和world_size（总进程数）。

设置设备

• cuda. set_device(rank)：确保层次结构中的每个进程根据其rank使用正确的GPU。

模型初始化

• Linear(10, 1). cuda(rank)：创建一个简单的线性层并将其传输到正确的GPU。
• DistributedDataParallel(model, device_ids=[rank])：用DDP进行包装以处理并行化。

优化器设置

• SGD(model. parameters(), lr=0. 01)：这将连接SGD优化器，用于在训练过程中使用的模型进行训练或更新。
• 数据准备
• randn(1000, 10). cuda(rank)：这些函数生成合成输入数据并将其传输到GPU。
• randn(1000, 1). cuda(rank)：创建目标值的虚标签，并将转换后的数据写入GPU。

训练循环

• zero_grad()：重置梯度。
• output = model(data)：一次通过模型进行的计算。
• loss = nn. MSELoss()(output, targets)：确定损失。在上述示例的上下文中，确定损失将如下所示：
• backward()：第2步：后向传播，用于计算梯度。
• step()：更新模型参数。

模型保存

• if 'rank == 0': 每次epoch后，最好保存模型以防意外崩溃时丢失：'torch. save(model. state_dict(), 'model. pth')
• 它保存模型的state_dict，该字典用于多进程数据准备以及模型训练和评估，但仅从主进程进行。

多进程生成

• spawn(main, args=(world_size,), nprocs=world_size, join=True)：启动辅助进程来运行主函数。
• world_size表示要建立的总进程数。

结论

将PyTorch模型分发到多个设备上是提高性能和可扩展性的有效方法。只需几行代码，就可以启动分布式训练，从而最大限度地利用可用硬件资源。本指南介绍了基本的设置步骤，包括进程组的定义和模型转换为分布式数据并行版本。遵循这些步骤，您应该能够以优化的方式部署您的PyTorch模型，并获得更灵活、更快速的训练。

结论

深度学习模型的训练包含大量的计算，并且在人工智能领域的快速发展中，能够对其进行正确且快速的分发具有极高的价值。这是隐藏实际优势的指南，并且在您的应用程序和硬件环境的上下文中，最好应用这些技术。只需几行代码，就可以启动分布式训练，从而最大限度地利用可用硬件资源。本指南向您展示了基本的设置步骤，包括进程组的定义和模型转换为分布式数据并行版本。