开始使用 DataOps 流水线的 3 种最佳方法

引言

DataOps 实际上是 DevOps 的延伸，它专注于数据管理、数据处理和软件开发，以提高数据线的效率、生产力和可靠性。由于数据在决策中起着至关重要的作用，因此企业和其他组织比以往任何时候都更需要高质量、可大规模扩展、自动化的数据管道。DataOps 是一个新兴学科，源于将 DevOps 原则应用于数据处理流程的需求。在本文中，我们将重点介绍前三个概念，从 DataOps 流水线开始，并提供有关如何实现它们以及在组织内部使用过程中如何对其进行增强的全面指导。

1. 通过拥抱 DevOps 原则，体验开发运营的成功

理解用于数据处理的 DevOps

DevOps 是一套实践，它结合了软件开发生命周期的两个方面，即开发（Dev）和运营（Ops），以实现高质量软件的开发和交付，同时缩短 SDLC 时间。简单来说，DataOps 是这些概念向数据领域的延伸，以协作、自动化和改进为核心。

以下是一些与 DataOps 相关的关键 DevOps 原则：

1. 协作和沟通：整合数据工程师、数据科学家和 IT 运营中被遗漏的数据方面，以实现共同的目标认知和运营协同。
2. 持续集成和持续部署（CI/CD）：协调数据管道的变化，并确保在测试环境下的源和目标环境中都能对这些变化进行测试和验证。
3. 基础设施即代码（IaC）：一种协调和创建资源的方法，也是预配和维护组织数据结构的基础。
4. 监控和日志记录：我们提供了详细的监控日志，用于记录流水线的健康状况和性能，并进行状态监控和数据异常识别，以便快速排除故障。
5. 安全和合规：在开发初期就解决安全措施，实施安全策略以保护数据免受外部威胁，并正式遵守当前法规。

在 DataOps 中实施 DevOps 原则

接下来，我们将解释 DataOps（在数据和分析流程中使用 DevOps 原则）的含义以及如何实施它们。

要为 DataOps 建立坚实的基础，请从采用以下实践开始：作为建立 DataOps 结构的基本指南，建议遵循以下步骤：

• 自动化数据管道部署：可用于增强数据管道架构的工具包括 Jenkins、GitLab CI 和 CircleCI 等，自动化可以在其中发挥作用。这意味着更改经过测试，并且还可以轻松部署，从而最大程度地减少错误并增强组织的敏捷性。
• 实施 IaC：通过使用 Terraform 和 AWS CloudFormation 等各种程序，可以将代码用作数据结构。这有助于建立清晰的系统基础设施环境，该环境可以有效地在每一轮中重复使用，从而减少练习压力或手动配置过程，同时减少配置偏差的可能性。
• 促进协作：在与数据工程师、数据科学家及其运营团队合作时，最好安排并积极参与至少每日或每周的同步会议，使用 Jira Trello，或任何更合适的 wiki/通信工具——例如 Slack 或 Microsoft Teams。解释沟通的明确含义和目标，尤其是在管理待办事项方面。
• 建立监控和日志记录：利用 Prometheus 等最先进的工具进行实时健康监控，Grafana 进行可视化，以及由 Elasticsearch、Logstash 和 Kibana 组成的 ELK 堆栈，用于对数据管道进行观察。预期的警报设计可用于识别异常并迅速采取行动。
• 集成安全实践：建议将安全措施渗透到开发阶段，以确保 IA 人员接受安全评估测试、数据加密和安全访问的培训。IAM 是身份和访问管理服务的缩写。例如 AWS、AzureAD、Vault 等，用于识别谁有权限访问什么以及密钥在哪里。

2. 设计可扩展且有弹性的数据管道

理解数据管道

在大数据背景下，数据管道是指一个数据处理和分析工作流，它从不同的工具或系统中获取输入。对于处理大量数据的组织来说，开发能够解决大规模问题且高度可用/容错的数据格式摄取解决方案至关重要。

设计数据管道时需要考虑的关键事项如下：

• 可扩展性：解决可扩展管道的问题，应确保数据流不受数据量增加的影响。
• 弹性：一个关键因素是确保管道能够从故障中恢复，并在不先通过缓冲区保存数据的情况下继续处理数据。
• 模块化：创建更易于修改或重塑的管道、导管和路径，而无需更改整个管道结构。
• 数据质量：为确保数据输入质量，再将其输入到下一个过程之前，会应用错误控制检查、交叉检查和验证。
• 实时处理：使系统能够从用户那里收集原始数据并在实时进行分析，从而捕获时敏性的应用程序和用例。

实施可扩展且有弹性的数据管道

要设计和实施可扩展且有弹性的数据管道，请考虑以下实践：

1. 使用分布式系统：考虑使用 Apache Spark、Apache Flink、Google Dataflow 等开放且复杂的分布式数据处理方法。这些框架提供了扩展和缩减管道的能力，或从中断中恢复以处理海量数据。
2. 实现数据分区：这意味着将数据进行分割，以便可以并行处理部分数据，从而提高性能。一切都有其优缺点；因此，分区策略如基于时间的、基于哈希的或基于范围的分区也适用。
3. 采用微服务架构：这种设计方法涉及数据管道本身由更小、松耦合的微服务组成，其中每个服务在整个管道中都有一个明确定义的任务。它规划了一种自相似的架构结构，使其在未来可以进行扩展、维护或升级。
4. 确保数据质量：在关键数据管道阶段衡量数据验证和清理，以实现高数据质量。使用 Apache NiFi、Talend 或 Informatica 等应用程序集成工具来帮助测试和提高数据质量并自动执行转换。
5. 启用实时处理：要处理实时数据，应使用 Apache Kafka、Apache Pulsar 和 AWS Kinesis 等流处理框架。这些框架还支持在一个组织内部处理流，以实现数据流的实时处理，主要用于时间关键型应用程序。开发人员集成的框架应具有固有的容错措施，但如果这些措施缺失，则用户应开发定制的机制。
6. 实施容错机制：设计管道时应包含重试、检查点和备份等机制，以防出现意外情况。开发人员集成的框架应具有固有的容错措施，但如果这些措施缺失，则用户应开发定制的机制。
7. 优化数据管理和治理

信息管理在任何组织中都至关重要，可以通过以下方式进行增强：

数据管理和治理已被不同学者和从业者以各种方式和不同视角定义。

这是用于捕获、存储和维护信息的实践和系统。数据治理是定义如何有效管理数据的流程、指南和程序，包括质量、安全和法律要求。DataOps 主要依赖于正确的管理和治理，这直接有助于 DataOps 流水线。

值得考虑的数据管理和治理的关键方面包括：

• 数据目录和发现：建立数据标识和处理工具和程序，以便与积累的文献相比，能够访问和共享数据。
• 元数据管理：元数据管理旨在描述和追溯特定资产的责任，并详细说明其来源。
• 数据安全和隐私：保护数据免受威胁或泄露，并确保政策符合国家隐私法。
• 数据生命周期管理：对数据从创建、存储、备份、检索到删除的整个链条进行明确控制。
• 合规和审计：因此，在处理数据时，要遵守立法和法律标准的规定，并进行定期检查以识别可能的违规行为。

实施有效的数据管理和治理

有效的数据管理和治理有多种含义，包括确保数据管理流程高效运行。如果目标是改进组织的整体数据管理实践，那么就必须将重点放在数据治理上。

要优化 DataOps 流水线中的数据管理和治理，请考虑以下实践：

• 实施数据目录：使用 Apache Atlas、Alation 和 Collibra 等工具捕获具有适当元数据管理的数据资产，以创建可搜索的数据数据库。这有助于确保组织内部能够轻松访问和共享生成的信息。
• 管理元数据：确保使用适当的工具来收集组织内关于数据来源、数据定义和使用情况的元数据支持。可以帮助管理元数据的工具示例包括 Apache Atlas、Informatica 和 Talend。
• 确保数据安全和隐私：为了保护数据，应采用加密、访问控制和数据屏蔽等因素。通过适当的数据处理和保护流程（如 GDPR、CCPA 或 HIPAA 等）来充分记录组织内对各种数据隐私法的遵守情况。
• 采用数据生命周期管理实践：制定支持从创建到删除的数据保留的策略和实践。可以使用 Apache NiFi 等软件进行数据生命周期流程，包括数据采集、管理、处理和消费，以及 Talend 和 Informatica 等其他工具。
• 定期进行审计：将数据审计作为上述风险分析的一部分，每年至少进行一次审计，以检查是否符合数据监管要求和组织政策。通过分析执行数据审计，以评估数据利用率、访问权限和法律遵从性。

案例研究：DataOps 框架的关键组成部分

分析具体示例有助于识别组织在 DataOps 流水线的设计和运营中有效使用的实践。以下是一些例子：

1. Netflix

数据文化和先进的数据架构始终是 Netflix 动态的核心。这使得该公司能够利用 DataOps 方法并将其应用于处理由实时分析、个性化算法甚至运营指标组成的海量数据生态系统。关键实践包括：

• 实时数据处理：Netflix 使用 Apache Kafka 进行实时数据，并使用 Apache Flink 进行流处理，从而实现实时分析和更接近的客户推荐。
• 自动化数据管道：Netflix 甚至构建了一个名为 Keystone 的基础设施，可以自动构建、预配和管理数据管道。该平台有利于实践 CI/CD，并提供连接到多个数据处理框架的接口。
• 数据质量和治理：Netflix 还检查数据数量并采取足够的数据治理措施来确定数据凭证。因此，该公司采用各种自动化测试解决方案，可在管道的每个阶段进行数据验证。

2. Uber

Uber 拥有高度分布式、高度实时的数据摄取、处理和分析及决策支持数据架构，DataOps 为其服务。关键实践包括：

• 微服务架构：Uber 的数据基础设施被实现为一系列微服务，以实现合适的规模、合适的功能和合适的开发及部署速度。上述架构风格，作为卡内基模块化方法的基础，保留了快速创新和快速适应的能力。
• 数据来源和治理：在转换阶段，Uber 已经检查了 onChange 字段和数据来源工具，这些工具可以监控数据的流动及其依赖关系。公司工作中采用的技术解决方案的另一个例子是处理数据访问和合规性的自动化治理策略。
• 大规模机器学习：虽然部署的 ML 模型名称因用例而异，但 Uber 将其整合到多个功能中的 DataOps 流水线中，例如路线优化、需求预测以及匹配司机与乘客。为了处理“模型生命周期”，该公司部署了 Michelangelo 等工具来处理机器学习模型的训练、部署甚至监控。

结论

DataOps 流水线通常始于 DevOps 的概念，通过集成强大的数据管道，制定可扩展性和容错性的健全策略以及有效的数据管理和治理。上述实践可以真正地遵循并付诸实践，为任何组织提供高效、高质量、可靠的数据流程，从而助力决策制定和业务成功。

总结

通过 DevOps 原则建立坚实的基础：从协作、CI/CD、IaC、监控和安全开始建立 DataOps，以构建稳定可靠的基础。

设计可扩展且有弹性的数据管道：通过利用分布式系统、数据分区、微服务架构、数据质量技术、实时处理和容错能力来构建高质量的数据管道。

优化数据管理和治理：此外，还采用数据目录、元数据、数据安全和隐私、数据生命周期和数据审计来实现良好的数据管理和治理。