2022 年最值得学习的 Python 库 Top 10

在编程世界中，Python 是最受欢迎且高效的编程语言。有许多原因使 Python 成为备受追捧的语言。其中一个吸引人的地方是其令人难以置信的可扩展性。Python 提供了数千个库，减少了代码行数。Python 在全球拥有庞大的社区，其社区不断更新其功能和库。

在本教程中，我们将讨论之前推出的十大 Python 库。我们没有列出每个人都知道的典型库（pandas、pytorch、numpy 或 Tensorflow）。

• Awkward Array
• AugLy
• Gradily
• 集线器
• Jupytext
• Evidently
• LightBGM
• Django Ninja
• SQLModel
• Scalene

额外库

• Jina and Finetuner

顶级 Python 库

我们正在列出一些在未来几年可能非常受欢迎并有助于职业发展的顶级 Python 库。以下是新推出的十大 Python 库。

1. Awkward Array

我们大多数人可能都熟悉 numpy 及其数组。那是 numpy 中的主要数据结构，也是值的网格。Numpy 数组允许在数据部分进行矢量化操作，这会影响低级库中的并行性和优化。因此，它们比 Python 的 for 循环执行得快得多。

但 Numpy 数组缺乏表达可变长度结构的能力。虽然我们可以将 dtype 设置为 object, 但这还不够。

在这种情况下，Awkward 库可以帮助我们。Awkward 数组看起来像是常规数组的底层；它们是嵌套的、树状的数据结构 (JSON)。它们与 Numpy 数组相似，例如将数据存储在连续内存中。它们使用编译的矢量化代码进行操作。

我们参考 awkward 库的官方文档。让我们理解以下示例 -

示例 -

• 使用常规 Python for 循环

输出：1

[[[], [4], [4, 9]], [], [[4, 9, 16], [4, 9, 16, 25]]]   

• 使用 Awkward Array

输出：2

[[[], [4], [4, 9]], [], [[4, 9, 16], [4, 9, 16, 25]]]

正如我们所看到的，两个代码片段都生成了相同的输出，但第二个只用了一行。它更快，并且使用更少的内存。

2. Gradio

如果您从事数据科学领域，您一定熟悉 Streamlight。 Streamlight 可以将数据脚本转换为可共享的 Web 应用程序，以便用户可以将输出演示为实际应用程序，而不是 Jupiter Notebook。Gradily 是通过友好的 Web 界面演示机器学习模型的最快方式。它使 ML 构建器的演示比 Streamlight 更容易、更快。

Gradio 允许我们创建特定于我们的机器学习模型的 Web UI。

用户可以通过使用滑块更改参数、上传图像、写入文本和录制语音来修改应用程序。

毫无疑问，Gradio 使模型更易于访问，这对于数据科学家来说是最重要的。

3. Hub

通常存在一种普遍的看法；数据科学家通常将大部分时间花在调整模型或规划解决新问题的最佳方法上。这是错误的；数据科学家大部分时间都花在获取数据、整理不正确的格式和编写样板代码上。

基础设施代码对于处理数据的重要质量也至关重要。

Hub 是一种数据集格式，具有简单的 API，用于存储、创建和协作处理任何大小的 AI 数据集。我们可以存储任何数据集，而无需担心数据大小。许多科技巨头，如谷歌、Waymo、牛津大学、红十字会和 Omdena 都在使用 Hub。

Hub 带有 Pytorch 和 Tensorflow 的内置集成。它以压缩格式（分块数组）存储数据。我们还可以存储任何存储选项，例如 AWS S3、GCP 存储桶，或者可以考虑本地存储。Hub 采用懒惰工作方式，这意味着只有在需要时才获取数据。主要优点之一是，我们不需要多 TB 的存储空间来处理多 TB 的数据集。

4. AugLy

AugLy 用于训练计算机视觉中的鲁棒模型。从标记数据中获取最重要的见解非常重要。此外，数据增强是各种学科的核心，这些学科在 2021 年极大地推动了 SOTA。

AugLy 由 Meta (Facebook) 发明，是一个数据增强库，目前支持四种模态（音频、图像、文本和视频）和 100 多种增强。我们可以配置带有元数据的增强并压缩它们以获得所需的结果。

AugLy 库旨在用于在模型训练中增强我们的数据。还有许多其他库用于翻转、调整大小或颜色抖动。让我们以 Aug 库的一个真实示例为例 - 将图像转换为模因，在图像/视频上叠加文本/表情符号，将一些图像更改为 Instagram 滤镜等。

5. jupytext

Jupyter 笔记本是一个非常有用的工具，但我们不想在网络浏览器中编写数据。这是 Jupyter 笔记本的一个缺点。此外，它还在版本控制中造成问题。Jupytext 消除了这些限制，并允许我们以 Markdown 或多种语言的脚本形式保存笔记本。它以纯文本形式提供结果，使其易于在版本控制中共享。其他人可以合并更改，甚至可以使用 IDE 及其出色的自动完成功能。它是在 2022 年数据科学家的必备工具。

6. Evidently

一组机器学习工程师和数据科学家创建了一个机器学习模型，该模型毫不费力地接收和发送数据。但在生产时，许多事情可能会出错。这可能有很多原因。

它是一个开源 Python 包，用于估计和探索机器学习模型的数据漂移。它不仅能检测数据中的异常，还能帮助我们检测数据漂移和目标漂移。它有助于在验证期间评估 ML 模型并在生产中监控它们。

显然，它可以生成数据科学家可以交叉检查的可视化报告，以确保一切正常。

7. LightGBM

LightGBM 是一个最有效且基于梯度提升的机器学习框架，它使用基于树的学习算法。它允许程序员使用预定义的初级模型和决策树并开发新算法。许多其他库，例如 XGBoost 和 CatBoost，可以使用相同的方法，但 LightGBM 具有一些高级优势。它提供最佳速度和内存使用，并提供更高的准确性。该库能够处理大规模数据。

8. Django Ninja

Django 是一个最受欢迎且功能齐全的框架，用于构建 Web 应用程序。如果开发人员想要创建 RESTful API，他们会转向 Django Rest Framework。但现在有一个新的竞争者，名为 Django Ninja。它是一个用于使用 Django 构建 API 的快速 Web 框架。Django Ninja 提供了一种直接创建 API 的方式，我们可以在其中为参数获取类型转换和验证。它被多家公司用于实际项目。它还与 Django 和 ORM 集成，因此我们可以轻松利用 Python/Django 的优势。

9. SQLModel

SQLModel 是一个库，它使用 Python 代码和 Python 对象与 SQL 数据库交互。它基于 Python 注解，并由 Pydantic 和 SQLAlchemy 提供支持。它为编辑器提供了很好的支持，并缩短了调试时间。这个库非常简单且用户友好。主要优点是：它与 FastAPI、Pydantic 和 SQLAlchemy 具有出色的兼容性。如果您熟悉数据库的基本知识，您可以轻松了解此库。

10. Scalene

Scalene 是一个高性能的内存 GPU/CPU 分析器，可以执行多项任务。它能够处理多线程代码，并提供比其他分析器更好的详细信息。在使用它时，我们无需更改脚本，并且可以通过 scalene 命令执行脚本。它以 HTML 文档或文本的形式简单地给出结果，以跟踪每行代码使用的 CPU 和内存。

额外库

Jina and Finetuner

我们大多数人都在使用像 Google 这样的搜索引擎，但您是否注意到搜索引擎是如何比几年前变得更好的？幕后发生了一些革命性的事情，正在慢慢取代传统的基于关键词的搜索方式。

一种新的搜索方式被称为神经网络搜索。神经网络搜索将整个文本输入神经网络，并将其转换为向量。简而言之，在基于关键词的搜索中，文本被分成离散的标记并用于匹配。神经网络搜索不仅限于文本数据。它可以通过任何数据类型（图像、音频和视频）实现。

Jina 提供了一个革命性的解决方案，使开发人员能够在几分钟内构建可扩展的深度学习搜索应用程序。它提供了从代码和部署角度实现神经网络搜索系统的能力。它具有可扩展性和云原生特性。

另一方面，Finetuner 允许我们设置对神经网络表示的微调，以获取最适合神经网络搜索任务的结果。

结论

还有其他几个流行且有用的库可能成为技术领域的里程碑。但我们已经解释了一些重要且常见的库，它们在不久的将来将被广泛使用。Python 是用于数据科学活动最常用的语言。大多数提到的工具将由 Python 专家使用以提高产品质量。