数据湖的必要性是什么？

17 Mar 2025 | 4 分钟阅读

数据湖是一个集中式存储库，可存储任何大小的结构化和非结构化数据。我们可以使用仪表板和可视化来指导明智的决策。此外，我们还可以运行各种类型的分析，从大数据分析、实时分析到机器学习，而无需先对数据进行结构化。

我们为什么要使用数据湖？

根据 Aberdeen 的一项调查，在组织中引入数据湖的公司，其有机收入增长比同类公司高出 9%。

那些在从数据中产生市场价值方面具有竞争力的公司，通过实施数据湖并将数据迁移到云端，将比竞争对手表现更好。

通过吸引和留住客户、提高效率、主动管理设备以及做出明智的决策。他们能够识别并抓住促进业务快速增长的机会。领导者能够执行新的分析形式，例如机器学习，利用数据湖中的新数据源，如社交媒体数据、点击流数据以及互联网连接设备等。

一种专门用于分析来自事务性业务流程和业务线流程的关联数据的数据库，称为数据仓库。数据结构和模式是预先指定的，以优化快速 SQL 查询，其结果通常用于运营报告和分析。数据经过清理、增强和转换，以便能够作为用户可靠的“单一事实来源”。

通过分析数据湖的优势，正在使用数据仓库的公司正在以非常快速和迅速的方式扩展其仓库，包括数据湖。它支持广泛的查询功能、数据科学用例以及探索新知识模型的先进功能。根据 Gartner 的说法，这种演进被称为**数据管理解决方案（DMSA）**。

数据湖与其他数据库截然不同，因为数据湖存储了可以从移动应用程序、物联网设备、社交媒体或任何其他数据源收集的关联数据和非关联数据。

在构建数据湖的过程中，有一些要点需要牢记。

我们可以利用数据湖导入任意数量的实时数据。数据从多个不同的数据源提取，并以其原始格式存储在数据湖中。这种方法有助于我们扩展到任何规模的数据，同时节省数据结构、模式和转换定义的时间。

数据湖可以存储来自运营数据库和业务线应用程序的数据，以及来自移动应用程序、物联网设备和社交媒体的非关联数据，换句话说，它们可以是关联数据和非关联数据。数据的爬取、编目和索引使我们能够了解湖中有哪些数据。最后，必须保护数据以确保我们数据属性的安全。

组织将能够使用数据湖产生各种见解，包括历史数据报告和机器学习，其中模型旨在预测可能的未来结果，并提出一系列推荐行为以实现最佳结果。

以下是数据湖为数据增加价值的一些主要例子。

数据湖将协助我们的研发团队测试假设、完善假设和评估结果——例如，在产品设计中选择合适的材料以获得更快的性能，进行基因组分析以开发更有效的药物，或确定消费者对不同属性的支付意愿。

数据湖可以轻松地存储和分析机器生成的物联网数据，以找到降低成本和提高效率的方法。

数据湖架构的关键缺点是原始数据处理过程中的控制较少。为了使数据可访问，数据湖必须具备特定的编目和安全数据流程。没有这些组件，数据就无法被识别或信任，从而导致“数据沼泽”。

数据湖必须具备治理、语义连续性和访问控制，才能满足更广泛受众的需求。

AWS 被数以万计的客户用于运行他们的数据湖。如今，在设置和维护数据湖方面涉及许多手动且耗时的活动。AWS Lake Formation 自动化了这些过程，使我们能够在一两天内而不是几个月内构建和保护我们的数据湖。

凭借其无与伦比的 11 个九的持久性、99.99% 的可用性、最佳的安全性、强制性和审计功能（包括对象级别审计日志和访问控制），以及具有五种存储层级的最高通用性，以及价格低至每 TB 每月不到 1 美元的最低成本，Amazon S3 是创建数据湖的最佳场所。

AWS 提供最广泛、最深入的专用分析服务套件，所有这些服务都针对我们特定的分析需求进行了定制。这些服务都致力于成为同类中的佼佼者，因此在使用它们时，我们永远不必牺牲效率、规模或成本。

Amazon EMR 上的 Spark 比 Apache Spark 3.0 快 1.7 倍，而且我们可以以不到传统本地解决方案一半的价格运行 PB 级分析。