大数据分析

大数据分析的历史背景可以追溯到计算和数据库的开端，直到 2010 年代出现了“大数据”等术语。互联网的创建、Hadoop 等分布式注册表的开发以及 NoSQL 数据库的引入都是重大成就。

由于分析软件、云计算和人工智能整合的进步，大数据分析已从一个小众学科发展成为一项基本的业务驱动力。2020 年代将见证持续评估、边缘计算以及对数据伦理和安全的更重要关注，强调该领域的可靠进步。

大数据分析通过调查和解读巨大的数据量来发现隐藏的模式、关系和有价值的见解。对于标准数据处理技术无法有效处理的过大和复杂的数据集，称为“大数据”。大数据分析利用复杂的技术和技术从巨大的数据集中提取重要数据。

大数据分析的关键组成部分是

i) 数量： 大数据指的是大量数据，通常从数 TB 到 PB 甚至更多。这些数据可能来自各种来源，包括社交媒体、传感器和交易记录等等。

ii) 速度： 数据必须以实时或接近实时的速度进行处理，因为它生成的速度非常快。例如，虚拟社交媒体处理网络交易，而传感器数据则持续不断地产生数据流。

iii) 多样性： 大数据有各种各样的形式，包括结构化数据（如数据库）、半结构化数据（例如 XML 文档）和非结构化数据。从多种数据类型中进行分析和获取见解可能非常困难。

iv) 可靠性： 大数据可能杂乱无章，并且存在错误、不一致或其他错误。保证数据质量和可靠性是大数据分析中的一个重要挑战。

大数据分析工具

i) Hadoop

- 目标 是分发大型数据集以进行存储和处理。

- 主要特点 是 Hadoop 分布式文件系统 (HDFS) 和 MapReduce。

ii) Apache Spark

- 目标 是在内存中处理和分析数据。

- 主要特点： 适用于批处理、流处理、机器学习和图形处理。

iii) Apache Flink

- 目的 是实时和批量处理数据流。

- 主要特点 包括事件时间处理、高吞吐量和低延迟分析。

iv) Apache Kafka

-原因： 用于创建实时数据管道的分布式流媒体平台。

- 主要元素 包括高吞吐量、内部故障适应和持续数据流适应性。

v) Apache HBase

- 原因： 分布式、可扩展、NoSQL 数据库，可考虑实时读/写访问大型数据集。

- 主要亮点： Hadoop 集成和自动分片。

(vi) MongoDB

-NoSQL 数据库的目的是处理大量非结构化数据。

- 主要亮点 包括文档方向和对动态大纲的支持。

vii) Cassandra

-NoSQL 数据库的目的是处理跨分布式产品电脑的巨大数据量。

- 主要元素 包括高可扩展性、对内部故障的适应性和去中心化。

大数据分析是如何运作的？

1. 数据收集

- 来源识别：识别并从各种来源收集数据，包括交易记录、在线社交媒体、传感器、日志等。

- 数据摄取：将获取的数据移至存储系统，其中可能包括分布式文件系统（如 Hadoop 分布式文档系统 (HDFS)）、基于云的存储解决方案或数据仓库。

2. 数据预处理

- 清理和设计：校正不正确的数据，处理副本，并保证数据的质量。

- 将数据转换为分析准备好的格式，其中可能包括标准化、聚合或更改。

- 集成是从众多来源合并数据以生成单个、坚实数据集的方法。

3. 数据存储

- 使用可扩展和分布式存储解决方案来处理数据的数量和多样性。

4. 数据处理

集群处理：使用系统，例如 Apache Hadoop MapReduce，来处理大量批量的测量值。

- 持续处理：使用 Apache Flash 或 Apache Flink 等技术，以真实或接近恒定的方式处理流数据。

5. 分析和建模

- 区别性分析总结并描绘了数据集的基本观点。

机器学习算法用于预测分析，以进行预测和查找模式。

- 规范性分析：根据分析结果提出行动建议。

类型

1. 明确分析

- 明确分析总结历史数据，以提供对之前发生事件的见解。

- 创建报告和仪表板的技术包括数据总计、概要和可视化。

- 销售见解、网络流量分析和关键绩效指标 (KPI) 都可以帮助你理解过去的趋势和绩效。

2. 诊断分析

- 诊断分析试图通过检测过去数据中的模式和相关性来了解为什么发生了特定事件或结果。

- 技术包括向下钻取分析、数据挖掘和相关性分析，以发现变量之间的联系。

- 例如，调查导致收入飙升或下滑的原因，评估客户流失的原因，并确定运营问题的核心原因。

3. 预测性分析

- 原因：预测性分析使用历史数据和统计计算来衡量未来的例子和结果。

- 导致期望的技术包括机器学习计算、回归分析和时间序列分析。

- 模型包括销售估算、需求期望、制造中的预测支持和金融中的风险评估。

4. 规范性分析

- 规范性分析超出了预测未来结果的范围，并推荐潜在的活动以改善结果。

- 技术包括优化算法、模拟模型和决策支持系统，它们有助于推荐最佳行动方案。

- 电子商务应用包括供应链优化、资源分配和量身定制的建议。

大数据分析的利用和模型

I) 商业知识

- 分解历史数据可以提供对企业绩效和实例的见解。

- 模型包括创建报告和仪表板以跟踪关键绩效指标 (KPI)、销售分析和财务报告。

ii) 客户分析

- 了解客户行为和偏好有助于预测未来需求。

- 模型包括客户细分、节拍预测、在线业务建议系统和虚拟社交媒体观点分析。

iii) 医疗保健分析

- 用途包括改善持续护理、管理医院运营和识别健康趋势。

- 模型包括疾病爆发的预测分析、定制药物、患者再入院预测和医疗保健保险欺诈检测。

iv) 财务分析

- 财务数据分析分析风险，识别欺诈，并确定投资选择。

- 模型包括信用评分、算法交易、反非法避税 (AML) 分析和财务交易中的欺诈检测。

v) 库存单位链分析

- 用途：优化存储链运营、减少费用并提高效率。

- 模型包括需求估算、库存优化、路线优化和供应商绩效分析。

好处

1. 知情导航

优势： 大数据分析从大型和增强的数据集中提供重要的见解，允许企业在知情和数据驱动的决策上安顿下来。

2. 进一步改进的效率

优势： 通过分析模式和趋势，公司可以简化流程、减少瓶颈并提高运营效率。

3. 上面竞争优势

优势： 通过识别新的机会、理解客户要求并保持行业趋势的领先地位，精通大数据分析的企业获得了竞争优势。

4. 升级的客户体验

优势： 客户分析通过更好地掌握客户的偏好和行为，实现量身定制的体验、有针对性的营销和增强的消费者满意度。

限制条件

1. 安全和数据隐私问题

劣势： 维护大量敏感信息会增加信息泄露的可能性，因此需要采取严厉的安全措施来确保安全。

2. 复杂性

劣势： 大数据分析解决方案的实施和管理可能具有挑战性，需要专门的基础设施和熟练的员工。

3. 成本

劣势： 由于高昂的初始设置成本、基础设施投资和持续维护，较小的企业可能会遇到困难。

4. 信息质量和可靠性

劣势： 大量数据不时地合并来自不同来源的数据，这可能导致数据质量、准确性和可靠性方面的挑战。

结论

总而言之，大数据分析的发展是一段渐进的旅程，从电脑的开端到当前的时代，这一点得到了复杂技术和对巨大的数据集中固有的价值的广泛理解的认可。Hadoop 等结构的开发、NoSQL 数据库的兴起以及人工智能的合并，提高了我们从巨大的异构数据集中提取有用见解的能力。正如我们进入 2020 年代一样，大数据分析将继续塑造各个行业的决策过程、鼓励创新并提高效率。然而，它还需要对数据使用的伦理和隐私问题进行更深入的评估。