PyTorch vs. TensorFlow

在开始新项目时，了解 PyTorch 和 TensorFlow 之间的区别至关重要。当开发人员决定从事深度学习或机器学习研究时，库起着至关重要的作用。根据一项调查，有 1,616 名 ML 开发人员和数据科学家在使用 PyTorch，而有 3.4 名 ML 开发人员在使用 TensorFlow。

我们将根据以下因素对这两个框架进行比较：

1) 起源

PyTorch 是一个基于 Torch 库的机器学习库。它由 **Facebook 的人工智能研究小组**开发，用于深度学习和自然语言处理等应用。它是根据 **修改后的 BSD 许可证**发布的免费开源软件。TensorFlow 也是一个开源的机器学习框架，最初由 **Google** 开发。

2) 特征

PyTorch 具有一些吸引人的功能，例如：

1. 原生支持 Python
2. 动态计算图
3. CUDA 支持

这些功能可确保更少的代码运行时间并提高性能。另一方面，TensorFlow 也具有独特且吸引人的功能，例如 **TensorBoard**，这在可视化机器学习模型时是一个很好的选择。它还提供了 **TensorFlow Serving**，这是一个专用的 **grpc 服务器**，用于在生产部署过程中使用。

3) 社区

PyTorch 的社区比 TensorFlow 小得多。TensorFlow 被商业组织、学术界等各个领域的许多研究人员采用。在 TensorFlow 中，更容易找到资源或解决方案。TensorFlow 和 PyTorch 都有大量的教程、代码以及支持。

4) API 级别

如果谈论 **API**，那么 TensorFlow 是最好的，因为它同时提供了高、低级 **API**。PyTorch 提供低级 API，侧重于直接处理数组表达式。PyTorch 在过去一年中获得了极大的关注，并成为学术研究和深度学习应用的首选解决方案，这些应用需要优化自定义表达式。

5) 速度

PyTorch 和 TensorFlow 是两个最流行的深度学习框架。如果您在家工作并实现第一个深度学习项目，那么 PyTorch 很合适。但如果您在办公室工作，并且对深度学习项目有丰富的知识，那么应该使用 TensorFlow。如果我们比较 PyTorch 和 TensorFlow 的速度，那么这两个框架提供的速度相似，都很快且适合性能要求。

6) 流行度

从流行度来看，TensorFlow 的使用比 PyTorch 更广泛。每个组织都需要简单易读的架构，并且能够高效地执行大型数据集。PyTorch 比 TensorFlow 年轻，但其受欢迎程度增长迅速。PyTorch 允许自定义，而 TensorFlow 则不允许。TensorFlow 在 GitHub 活动、Google 搜索、Medium 文章、亚马逊图书和 ArXiv 文章方面拥有最多的资源。它被大多数开发人员使用，并列在大多数在线职位描述中。

7) 上手时间

PyTorch 是一个支持 GPU 的 NumPy 的即插即用替代品，它提供了更高级的功能来构建和训练深度神经网络。如果您熟悉 Python、NumPy 和深度学习抽象，那么学习 PyTorch 会很容易。当我们编写 TensorFlow 代码时，它会先被 Python“**编译**”成一个图，然后由 TensorFlow 执行引擎运行。TensorFlow 有一些额外的概念需要学习，例如图、会话、占位符和变量作用域。TensorFlow 的上手时间肯定比 PyTorch 长。

8) 覆盖范围

TensorFlow 原生支持某些操作，例如沿维度翻转张量、检查张量中的 NaN 和无穷大以及快速傅立叶变换。它还具有用于创建更多模型的 **contrib 包**。它支持使用更高级的功能，并为我们提供了广泛的工作选项。

PyTorch 仍然实现的功能较少，但由于受到了广泛关注，很快就会迎头赶上。与 TensorFlow 相比，PyTorch 在学习者和自由职业者中不如 TensorFlow 流行。

9) 部署

两个框架都可以轻松地包装起来用于小规模的服务器端部署。TensorFlow 在 **移动** 和 **嵌入式部署** 方面表现良好。在 TensorFlow 中，将模型部署到 **Android** 和 **IOS** 需要大量工作。我们不必用 C++ 或 Java 重写模型的整个推理部分。PyTorch 在不使服务中断的情况下很难进行热交换，但 TensorFlow 可以轻松做到。

10) 序列化

使用这两个框架加载和保存模型都非常简单。PyTorch 有一个简单的 API，如果您愿意，可以将其整个类进行 pickle，或者保存模型的所有权重。在序列化方面，TensorFlow 的主要特点是整个图可以保存为协议缓冲区，并包含参数和操作。之后，该图将在其他支持的语言（如 Java 和 C++）中加载。对于不支持 Python 的部署堆栈，TensorFlow 至关重要。当您更改模型源代码时，TensorFlow 会很有用，但它应该能够运行旧模型。

11) 图构建和调试

PyTorch 具有整个图创建过程的动态特性。可以通过解释对应于图特定方面的代码行来构建图，因此它完全在运行时构建。

使用 TensorFlow，图构建是静态的，需要经过编译。之后，它将在我们之前提到的执行引擎上运行。

12) 可视化

可视化在我们在组织中呈现任何项目时都起着重要作用。对于可视化机器学习模型，TensorFlow 有 TensorBoard，它有助于在训练模型和快速发现错误。它是模型图的实时表示，不仅显示图形表示，还实时显示准确性图。PyTorch 缺乏此功能。

13) 架构

如果我们将 PyTorch 和 TensorFlow 的架构进行比较，那么 PyTorch 的架构比 TensorFlow 简单得多。TensorFlow 并非非常易于使用，即使它提供了 **Keras** 作为框架，这使工作更轻松。当我们比较 PyTorch 和 TensorFlow 时，它的可读性较差。

14) 数据集

PyTorch 通常用于低性能模型和大型数据集，而 TensorFlow 则用于高性能模型和大型数据集。TensorFlow 在执行需要快速执行的大型数据集方面发挥着至关重要的作用。PyTorch 更简单，但不常被使用，因为每个组织都有大型数据集需要高性能执行。当我们需要以低性能执行大型数据集时，可以使用 PyTorch。

15) 文档

PyTorch 和 TensorFlow 都基于 Python 编程语言。Python API 的文档都很好，所以通常很容易找到最好的。有一件事使 TensorFlow 更好，那就是 PyTorch 的 C 库大部分未记录。但是，这只在编写自定义 C 扩展时才重要，也许在为整个软件做贡献时才重要。

16) 设备管理

在 TensorFlow 中，设备管理非常简单，意味着我们不必指定任何内容，因为默认设置很好。在 TensorFlow 中，如果 GPU 可用，它会自动假定我们要使用 GPU 运行。TensorFlow 管理的一个缺点是，即使只使用一个 GPU，它也会消耗可用 GPU 上的所有内存。

另一方面，在 PyTorch 中，即使启用了 **CUDA**，我们也必须显式地将所有内容移动到设备上。代码需要更频繁地检查 **CUDA** 和更明确的设备管理。

17) 自定义扩展

使用这两种框架都可以绑定或构建用 C、C++ 或 CUDA 编写的自定义扩展。当然，TensorFlow 需要更多的样板代码，尽管它支持多种类型和设备，并且更简洁。

在 PyTorch 中，我们可以简单地为特定的 CPU 和 GPU 版本编写接口和实现。

使用这两种框架（PyTorch 和 TensorFlow）编译自定义扩展都很简单。除了 pip 安装之外，无需下载任何头文件或源代码。

结论

最后，我们发现 PyTorch 和 TensorFlow 是相似的。PyTorch 非常 Pythonic，并且非常易于使用。它具有良好的上手时间和文档，并且比 TensorFlow 快得多。PyTorch 的社区比 TensorFlow 小，并且缺少一些有用的工具，例如 TensorBoard，这使得 TensorFlow 比 PyTorch 更好。

我们可以根据我们的喜好（我们想编写什么代码）以及我们的需求来使用这两种框架。

我们得出结论，PyTorch 最适合在家中使用，而 TensorFlow 最适合在办公室中使用。

PyTorch 和 TensorFlow 之间的比较