火箭技术Python入门

Rocketry 是一个现代化的、由 Python 驱动的调度框架。它旨在开发高效、可扩展且高度可定制的任务调度系统。与 Cron 等传统作业调度器不同，Rocketry 允许您使用 Python 进行控制。它通过直观的 API 提供了灵活性和丰富的调度选项。Rocketry 支持事件驱动调度、动态任务管理和并发执行。它非常适合需要复杂或对时间敏感的任务自动化应用程序。

在本教程中，我们将通过 Python 讨论 Rocketry 的基础知识。那么，让我们开始吧。

为什么要使用 Rocketry？

在深入研究技术细节之前。让我们了解一下它为什么是一个绝佳的替代方案。Rocketry 是传统调度器的绝佳替代品。例如，以 cron 为例。

1. 超越基于时间的触发器的灵活性： 像 cron 这样的传统调度工具只能在固定的时间间隔安排任务。它们通常是每天、每周或每月。相比之下，Rocketry 可以在各种条件下安排任务。考虑文件系统事件 API 响应或自定义触发器。这提供了更多的控制权。您现在可以控制任务何时以及为什么运行。
2. 原生 Python 控制： Rocketry 基于 Python。它可以完美地集成到任何 Python 项目中。您不需要外部调度器或工具。从任务定义到调度逻辑，一切都可以在 Python 中编写。这使得部署和维护更加容易。对于已经用 Python 构建的项目尤其方便。
3. 事件驱动架构： Rocketry 支持事件驱动调度。任务可以由实时事件触发，而不仅仅是静态时间间隔。例如，当某个文件被修改时，可以触发一个任务。它也可以由 API 的新数据触发。
4. 并发和异步执行： 它原生支持异步任务执行。多个任务可以并行运行。或者它们可以并发运行。这是一个强大的功能。非常适合资源密集型应用程序。对于对时间敏感的任务的项目也很有用。
5. 丰富的基于规则的语法： Rocketry 允许对任务执行进行详细控制。它有一个基于规则的调度系统。可以基于非常复杂的条件定义任务。例如，您可以安排一个任务在每个月的第一个星期一运行。或者每次文件大小超过特定大小时运行。
6. 错误处理和重试： Rocketry 附带内置工具。这些工具用于处理失败的任务、重试逻辑和超时。目的是确保不遗漏任何关键任务。不允许错误或资源限制干扰。这使得 Rocketry 成为一个可靠的工具。对于任务关键型应用程序尤其方便。

安装 Python 的 Rocketry

要开始，请安装 Rocketry。通过 pip 下载

安装 Rocketry 后，即可将其集成到您的 Python 项目中。

Rocketry 的基本概念和术语

Rocketry 引入了几个关键概念。这些概念使其成为任务调度和自动化的强大工具。让我们逐一分解。

1. 任务： Rocketry 中的任务是您要调度的 Python 函数。每个任务都与特定的调度规则或条件相关联。
2. 调度器： Rocketry 有一个核心组件。它负责管理任务的执行时间和方式。它评估每个任务的条件并相应地运行它们。
3. 条件： 条件定义何时执行任务。它们可以是基于时间的。例如，每天或每周，或基于事件，例如文件更改、外部触发器。
4. 并发： Rocketry 支持任务的并发执行。它允许多个任务同时运行。这在需要同时执行多个任务而不会相互阻塞时很有用。
5. 自定义条件： Rocketry 允许创建自定义条件。这使其对于超出典型基于时间的调度的用例具有高度灵活性。

基本示例：调度任务

让我们从一个简单的例子开始。假设您想安排一个任务。该任务每天中午运行。这是使用 Rocketry 完成的方法：

代码

在此示例中

• app 对象是 Rocketry 调度器。
• rundaily_task 函数是我们计划调度的任务。它只是打印一条消息。在实际场景中，这可能是什么都可以。用途可能从发送电子邮件到处理一批数据。
• 该任务计划每天上午 12:00 运行。它使用 daily.at("12:00") 条件。

高级调度：使用自定义条件

Rocketry 允许您定义自己的自定义条件。这些条件会触发任务。假设您想触发一个任务。当某个文件在您的系统上发生更改时，任务应该开始。这向您展示了如何完成此任务。以下是实现方式：

在此场景中

• 我们使用 FileModified 条件来监控特定文件的更改。
• 当指定的文件的修改时，将执行 file_changed_task 函数。
• 这个例子展示了如何使用 Rocketry 进行事件驱动调度。通过它，任务可以由实际事件触发。实际事件优于仅基于时间的规则。

理解 Rocketry 中的并发概念

Rocketry 最强大的功能之一是能够同时运行任务。这对于需要多个任务并行运行而又不会相互阻塞的应用程序尤其有效。

例如，考虑以下场景。有两个任务计划同时运行。

示例

在此场景中，task_one 和 task_two 都安排在上午 10:00 运行。由于 Rocketry 的并发支持，这些任务可以并行运行。这最大限度地提高了资源利用率并减少了执行时间。

异步任务执行

Rocketry 支持 异步任务。这允许您定义可以使用 Python 的 async 功能异步运行的任务。

让我们举个例子

示例

async_task 函数被定义为异步任务。我们使用 Async 关键字将函数定义为异步。此任务将休眠一秒钟。之后，它将打印一条消息。Rocketry 将处理此任务的异步执行，而不会阻塞其他任务。

处理任务失败和重试

在实际应用程序中，由于各种原因可能导致任务失败。网络问题、资源不可用或意外错误都可能导致任务失败。Rocketry 通过提供机制来解决这些失败，其中一种机制是重试逻辑。

现在，让我们看一个关于如何管理任务失败并自动重试的例子。

这是一个例子。该函数名为 unstable_task。该任务旨在失败。我使用异常来模拟失败。

示例

代码中指定了重试逻辑。我们将重试次数设置为 3，延迟设置为 5。这意味着任务最多可以重试 3 次。每次尝试之间有 5 秒的延迟。这模拟了重试失败的任务。

使用 Rocketry 进行任务管理

我们将要介绍的功能更为高级。它基于使用 Rocketry 安排和执行任务。Rocketry 更进一步。它提供了强大的功能来管理复杂的应用程序。

1. 任务超时

任务可以有时间限制，确保它们不会无限期运行。可以为每个任务设置超时。任务由以下代码块定义。

示例

看这个例子

• 使用 timed_task 函数。此任务允许的最长运行时间为 10 秒。如果运行时间超过此限制，Rocketry 将终止该任务。

2. 任务依赖关系

Rocketry 能够定义依赖关系。这是任务之间的，以确保某些任务只能在其他任务之后运行。该系统对于更复杂的应用程序非常实用。任务通常需要特定的完成顺序。

示例

在我们的例子中

• first_task 是一个初始任务。它在没有任何条件下运行。dependent_task 紧随其后。只有在 first_task 成功后才能开始。after_success 是触发其开始的条件。此条件与初始任务的成功完成相关联。
• Rocketry 提供了一种创建复杂工作流的方法。这些工作流的任务取决于其他任务的成功或失败。
• Rocketry 为高级任务管理提供了特殊优势。这些包括依赖关系管理。它还有任务超时。

3. Rocketry 中的任务执行

Rocketry 支持动态调度。此功能可以在特定时间安排任务。它也很灵活。您可以在任务之间引入延迟。

有时 Rocketry 会支持任务失败。它会进入重试逻辑。这是许多此类系统中的常见功能。调度器可以尝试多次执行任务。它甚至可以为尝试次数设置一个特定的限制。调度器仅在达到限制时停止。

这些功能有助于使 Rocketry 成为强大的任务管理工具。其功能符合高级任务调度要求。

Rocketry 中的监控和日志记录

监控和日志记录对于任务调度系统至关重要。它们对于调试和审计目的尤为重要。Rocketry 默认包含日志记录功能。这会记录任务的状态，功能在任务执行时进行日志记录。它会记录任务何时完成。它会记录它们何时失败或被检索。

默认情况下，Rocketry 会记录所有内容。它会记录每次任务执行。但是，您可以自定义日志记录行为。可以将 Rocketry 与现有日志记录系统集成。这些可以是日志记录系统或第三方服务。例如 Logstash 和 Datadog。

示例

Rocketry 的实际用例

Rocketry 非常灵活。它可用于各种应用程序。一些实际用例是：

1. 数据管道和 ETL（提取、转换、加载）
   Rocketry 是构建自动化数据管道的组成部分。这些管道持续处理大量数据。数据也可以在计划的时间间隔内进行处理。
   让我们来看一个典型的 ETL 过程。该 ETL 过程从各种来源提取数据。这些来源可能是数据库、API 或平面文件。然后根据业务规则转换数据。最后，将数据加载到数据仓库或其他存储系统中。
2. 系统监控和警报
   系统监控在 IT 运营中至关重要。它可确保基础设施、服务器和应用程序保持健康。监控还可以优化资源利用率。Rocketry 工具可以帮助定期检查关键系统指标。这些指标包括 CPU 使用率、内存消耗或磁盘空间可用性。
3. 文件管理和备份
   数据备份是任何业务中的一项基本流程。这确保了重要数据不会丢失。丢失是由于意外删除、损坏或系统故障造成的。Rocketry 使之成为一项简单的任务。这会自动执行常规备份任务。这包括基于文件的备份或数据库备份。
4. 业务流程自动化
   业务流程自动化 (BPA) 是利用技术自动执行日常业务任务。它提高了效率并减少了人工劳动。Rocketry 非常适合自动化许多业务流程。这包括生成报告或管理通信。它还适用于例行更新。
5. 批量处理
   批处理是一种批量完成作业的技术。这通常在非高峰时段进行最好。这是为了减轻系统负载。这种方法对于任务可能非常重要。任务可能包括数据分析、批量导入/导出或复杂计算。Rocketry 能够协调这些任务。该工具可确保它们在最佳时间运行并顺利完成。
6. 数据清理和验证
   在以数据为中心的应用中，数据清理和验证至关重要。它们可确保在使用数据进行分析或报告之前数据的质量很高。Rocketry 能够自动执行需要定期进行的数据清理任务。该工具可确保及时处理错误数据。它还负责处理重复或不完整的数据。