用于数据挖掘的数据仓库和OLAP技术

什么是数据仓库？

数据仓库是一个大型、集中化的存储空间，用于整合、统一和集成来自不同组织源的数据。它旨在支持商业智能活动，服务于报告、分析和查询。

数据仓库（DW）是一个关系型数据库，它更侧重于查询和分析，而不是事务处理。它包含了从单个或多个源派生的事务性历史数据。

数据仓库提供集成的、企业范围的、历史数据，并侧重于为决策者提供数据建模和分析支持。

数据仓库是一个特定于整个组织的数据集合，而不仅仅是某个特定用户群体的数据。

它不用于日常运营和事务处理，而是用于决策制定。

数据仓库的主要功能是为决策者提供组织数据的全面历史视角，以便他们能够基于对业务的深入理解做出明智的决策。

数据仓库的特点

在数据挖掘中，数据仓库具有一些共同的特点。部分特点如下：

1. 集成性

数据仓库的ETL（提取、转换、加载）过程从各种来源（包括外部系统、电子表格和事务数据库）加载数据。此过程确保数据的一致性并适合分组分析。

2. 时间相关性

数据仓库通常保留历史数据，使用户能够随着时间的推移检查模式和变化。这种时间相关性对于支持业务分析和决策至关重要。

数据仓库中存储历史信息。例如，可以从数据仓库中检索3个月、6个月、12个月甚至更早的数据。这与事务系统不同，事务系统通常只保留最新数据。

3. 主题导向

数据仓库中的信息根据重要的业务主题或领域进行组织，例如客户、产品或销售。这种主题导向的结构使用户更容易检索和分析特定业务领域的重要数据。

数据仓库面向决策者的数据建模和分析。因此，数据仓库通常提供特定主题（如客户、产品或销售）的简洁明了的视图，而不是整个组织的持续运营。通过排除可能对主题更有用的数据，并包含用户理解主题所需的所有数据来实现这一点。

4. 非易失性

一旦数据加载到数据仓库中，通常不会频繁更新或删除。数据仓库有助于维持数据和环境的稳定，其非易失性保证了其分析价值。

数据仓库是数据挖掘的有价值的信息来源，因为它允许我们提取模式、趋势和信息。作为数据挖掘过程的一部分，对大型数据集进行分析和探索，以发现隐藏的关系、模式和可用于改进业务决策的信息。

数据仓库的类型

数据仓库有不同的类型。部分类型如下：

1. 企业数据仓库 (EDW)

企业数据仓库是一个集中式位置，用于整合公司内不同部门和来源的信息。

它提供了整个公司的全面视图，有助于跨不同功能领域的商业智能和战略决策。

2. 数据集市

数据集市是企业数据仓库的一个子集，特定于某个部门、业务功能或主题领域。

数据集市提供更集中和专业的数据视图，旨在满足公司内特定群体的需求。

3. 操作型数据存储 (ODS)

操作型数据存储是一个数据库，它实时或近实时地从多个操作型系统收集和整合数据。

ODS旨在支持操作性报告，并为战术决策者提供更最新的数据视图。

4. 离线数据仓库

离线数据仓库是指定期从操作型系统中接收更新的数据仓库。

在定期数据刷新足以满足分析需求，并且不需要实时或近实时数据更新的情况下，它工作良好。

要使用哪种类型的数据仓库取决于组织的具体需求和目标，例如其运营规模、数据量、分析需求以及业务功能之间的预期集成程度。

什么是OLAP技术？

联机分析处理（OLAP）是一类技术，它允许用户以交互方式从多个角度检查和分析多维数据。OLAP系统旨在处理复杂和有机查询，简化商业智能和决策支持。OLAP代表联机分析处理。OLAP是一种软件技术，它使分析师、经理和高管能够通过快速、一致、交互式地访问已从原始信息转换而来以反映企业各维度（如客户所理解的）的各种数据视图来获得信息洞察。

联机分析处理（OLAP）是计算机处理的一个分支，它使多维数据分析在决策支持和商业智能方面更具交互性和复杂性。OLAP系统的目标是使用户能够从不同角度查看、检查和分析数据。

OLAP技术类型

OLAP技术有不同的类型。部分类型如下：

1. 关系型OLAP

关系型联机分析处理（ROLAP）是一种用于关系型数据库管理和数据存储的OLAP技术。尽管底层存储是关系型的，但ROLAP系统中的数据组织方式使用户能够对其进行多维分析。

2. 多维OLAP

OLAP技术，也称为MOLAP或多维联机分析处理，将数据组织并存储在多维立方体格式中。与依赖关系型数据库的ROLAP相比，MOLAP系统使用为快速查询性能优化的专有多维数据库。

3. 混合OLAP

混合联机分析处理（HOLAP）是一种在线分析处理技术，它结合了关系型OLAP和多维OLAP系统的优点。HOLAP通过结合这两种策略的优点，旨在在ROLAP的灵活性和MOLAP的高效查询性能之间找到折衷。

4. 桌面OLAP

桌面OLAP（DOLAP）描述的是安装在单个用户工作站或桌面上的OLAP功能。在这种情况下，用户可以本地访问OLAP功能，使他们能够分析处理数据并生成报告，而无需依赖集中式服务器。

5. 时间OLAP

时间联机分析处理（TOLAP）是传统OLAP的改进，分析过程现在包含时间维度。通过使用TOLAP系统，用户可以了解数据在不同时期如何变化，从而获得对历史趋势和模式的认识。

这些类型的OLAP系统在性能、存储效率和灵活性之间存在各种权衡。企业通常会选择最适合其独特数据特性、基础设施偏好和分析需求的选择。

数据仓库与OLAP技术之间的区别

数据仓库和OLAP技术之间存在一些区别。

1. 目的

• 数据仓库： 数据仓库是组织内一个集中的位置，用于整合、存储和管理来自多个来源的海量数据。其主要目标是为用户提供全面的历史数据视图，用于分析、报告和查询。
• OLAP技术： OLAP技术的主要目标是提供交互式分析工具和数据的多维视图。OLAP工具通过使用户能够从不同角度和维度探索和分析数据来促进商业智能活动。

2. 数据结构

• 数据仓库： 数据仓库使用关系型数据库模型将数据组织成适合分析的结构化格式。通常，数据根据重要的业务主题或领域进行组织。
• OLAP技术： OLAP系统通过将数据表示为多维立方体，使用户能够沿各种维度分析数据。这种组织旨在帮助快速交互式分析。

3. 处理方法

• 数据仓库： 数据仓库旨在存储、整合和汇总数据。它们用于准备和加载数据到仓库的过程称为ETL。
• OLAP技术： OLAP的主要目标是为用户提供一个交互式、响应式的环境来探索和分析数据。为了在数据维度中导航，OLAP使用诸如透视、切片、切块和钻取（向上/向下）之类的操作。

总之，OLAP技术通过提供简单的交互式分析界面来增强数据仓库的功能，而数据仓库则提供了存储和管理海量集成数据的基础设施。