什么是探索性数据分析？

探索性数据分析（Exploratory Data Analysis，EDA）是一个评估和检查数据集以了解其主要特征的过程。通常会使用统计图形和其他数据可视化策略。EDA 的主要目标是识别数据中的模式、趋势、关系和异常，从而提供可用于指导进一步研究或假设制定的见解。

在 EDA 过程中，数据分析师会探索变量的分布、识别异常值，并检查数据的整体结构，这有助于影响进一步的统计或机器学习建模工作。EDA 是数据分析中至关重要的一步，因为它使数据科学家能够理解数据的性质，并就最有效的数据分析方法做出明智的决策。

关键要素

i) 摘要统计

使用均值、中位数、众数、标准差和百分位数等描述性统计量来全面了解数据的集中趋势和变异性。

ii) 数据可视化

这是创建数据的可视化表示的过程，例如热力图、直方图、箱线图、散点图等，以更深入地了解变量的分布和关系。

iii) 缺失数据管理

识别和纠正缺失或不完整的数据，以维护分析的完整性。

iv) 异常检测

这是识别和理解可能显著影响分析的异常值的过程，并决定是拒绝、修改还是进一步调查。

v) 数据转换

这是转换数据（例如标准化或缩放）的过程，使其适合特定的分析或模型。

vi) 模式识别

识别数据中的模式、趋势或集群，这些可能提供重要的见解。

EDA 的类型

i) 单变量分析

- 关注一次分析一个变量。

- 计算均值、中位数、众数、极差和方差。

- 直方图、箱线图和核密度图是一些可视化技术的示例。

ii) 双变量分析

- 检查两个变量之间的关系。

- 常用的技术包括散点图、相关分析和列联表。

- 识别变量之间的模式、趋势和潜在关系。

iii) 多变量分析

- 这涉及对三个或更多变量的同时分析。

- 使用的技术包括 3D 图形、热力图和降维方法（如主成分分析）。

- 有助于发现不同变量之间复杂的联系和模式。

iv) 时间序列分析

- 专门为随时间收集的数据而设计。

- 涉及检查按时间顺序排列的数据中的模式、趋势和季节性。

- 使用的技术包括折线图、自相关图和时间序列数据分解。

v) 相关性和协方差分析

- 理解变量之间的联系和依赖关系。

- 使用相关矩阵和协方差矩阵评估相关性的强度和方向。

vi) 数据转换和清理

- 处理缺失数据和异常值，并转换变量以使其更适合分析。

- 使用的技术包括缺失值插补、异常值检测和标准化。

探索性数据分析工具

i) Python 和库

- Pandas 是一个强大的数据处理包，提供用于高效存储和分析结构化数据的结构。

- Matplotlib 是一个 2D 绘图框架，可用于创建动画、交互式或静态图。

- Seaborn 是一个基于 Matplotlib 的统计数据可视化库，提供易于使用的界面来创建视觉吸引力和信息丰富的统计图。

- NumPy 是一个用于 Pandas 相关数学运算的库，通常用于数据处理。

ii) R 及其包

- RStudio 是 R 的集成开发环境（IDE），支持交互式数据处理和可视化。

- ggplot2 是一个流行的数据可视化程序，用于创建各种图表和图形。

- dplyr：一个数据处理包，具有用于过滤、排序和汇总等功能，应有尽有。

- tidyr 是一个数据组织工具，专注于重组和重塑数据。

iii) Jupyter Notebooks

Jupyter Notebook 支持多种编程语言（Python、R 和 Julia），并允许您创建和共享包含实时代码、方程式、图形和叙述文本的文档。

iv) Tableau

Tableau 是一款强大的数据可视化应用程序，使用户无需广泛的编程经验即可创建交互式、可共享的仪表板。它允许您在 EDA 中连接到各种数据源。

v) Excel

Microsoft Excel 是一款流行的电子表格应用程序，具有基本的数据分析和可视化功能。它适用于简单的 EDA 任务，通常被商业分析师使用。

EDA 的目标

i) 理解数据。

全面了解数据集、结构以及变量的属性。

ii) 识别模式和趋势。

发现数据中隐藏的模式、趋势和关系。

iii) 检测异常值。

识别任何可能影响结果或需要进一步研究的异常观测值或离群值。

iv) 生成假设

创建初步的想法或见解，以指导进一步的研究和调查。

v) 变量选择

根据其属性和相关性，确定对未来研究或建模重要的变量。

vi) 数据清理和预处理

通过处理缺失值、异常值和其他数据质量问题，为高级分析准备数据。

EDA 的作用

i) 为后续分析提供信息。

EDA 通过揭示重要的数据特征，为更复杂的统计研究、假设检验和建模奠定了基础。

ii) 指导数据清理和预处理

EDA 有助于识别和解决数据质量问题，确保数据干净、可靠且适合进一步分析。

iii) 支持决策制定

EDA 有助于就最佳分析方法、模型选择和特征工程做出明智的决策。

iv) 调查变量之间的关系

EDA 调查不同变量如何相互作用，揭示潜在的依赖关系和交互作用。

v) 增强可视化

EDA 有时涉及开发可视化来表示数据，从而更容易与他人解释和共享见解。

优点

i) 识别模式和趋势

EDA 有助于识别数据中的模式和趋势，提供对底层结构和关系的宝贵见解。

ii) 理解数据特征

EDA 使分析师能够全面了解数据的特征、分布和中心趋势，为进一步研究奠定基础。

iii) 检测异常值

EDA 有助于发现可能需要特殊关注的异常值，从而实现更准确、更可靠的分析。

iv) 提供信息假设

EDA 使分析师能够创建假设并对数据中可能的相关性或事件做出明智的预测。

v) 指导特征选择

EDA 有助于识别用于后续分析、建模或机器学习应用的重要特征或变量。

EDA 示例

使用虚构数据集的探索性数据分析 (EDA) 示例。假设我们有一个包含学生绩效信息的数据集，例如科目分数、学习时间和出勤率。我们可以按以下方式进行 EDA。

1. 加载数据

将数据集导入 Python（使用 Pandas）或 R 等数据分析软件。

2. 理解数据

查看数据集的前几行，以了解其结构。

3. 摘要统计

计算描述性统计量，以了解数据的中心模式和变异性。

4. 数据可视化

创建可视化图表以检查变量的分布和关系。

5. 识别异常值

使用箱线图查找数据中的潜在异常值，例如学习时间。

6. 相关性分析

调查变量之间的相关性。

7. 数据清理

处理缺失值并解决任何数据质量问题。

8. 模式识别

确定数据中的模式或趋势。

结论

探索性数据分析 (EDA) 是数据分析过程中的一个基本阶段，数据科学家或专家在此阶段检查和可视化数据集以发现模式、趋势和关系。EDA 旨在通过使用统计摘要和图形表示、识别异常值并为未来分析提供指导来深入了解数据的动态。这种迭代和探索性的方法支持假设细化、决策制定和数据质量验证，为更高级的统计建模或机器学习任务奠定基础。最终，EDA 在将原始数据转化为有用的见解方面至关重要，从而在各个领域实现数据驱动的决策。