数据挖掘中的预处理

预处理是数据挖掘中用于组织、清理和修改原始数据以确保其满足高效分析需求的仔细过程。这包括处理缺失值、识别和纠正异常值以及统一格式化数据。目的是为各种分析方法准备数据并解决数据中可能存在的任何潜在问题。

预处理涉及有目的的数据操作，以提高质量和相关性；其范围超出了简单的修复。通过标准化、缩放和编码分类变量，预处理旨在提供一致且连贯的数据集，为精确有意义的模式提取奠定基础。

数据预处理的重要性

数据准备至关重要，因为它是决定数据质量的关键阶段。评估考虑以下因素

• 准确性：确保数据输入正确，以提高准确性。
• 完整性：确保所有相关数据都被准确记录和可用。
• 一致性：确认跨多个数据存储库的一致性并纠正任何差异。
• 及时性：及时进行更新以反映数据的当前状态。
• 可信度：它建立了对数据可靠性和有效性的信任。
• 可理解性：提高数据的清晰度和可解释性，以便进行有效分析。

数据预处理的步骤

1. 数据收集

任何数据挖掘过程都始于数据收集。它涉及从多个来源收集信息以创建用于分析的数据集。以下是一些关键点

• 来源识别

确定数据的来源。可能包括数据库、电子表格、文本文件、API、传感器、调查以及任何其他与分析相关的数据源。

• 数据类型

了解您正在处理的数据类型，无论是数值、分类、文本、时间序列还是组合。这些知识将指导后续的预处理阶段。

• 采样

选择采样方法。您将收集整个总体的信息，还是仅选择一部分（采样）就足以满足您的分析需求？通常使用采样来节省时间和资源。

• 隐私与道德

确保遵守数据隐私法规和道德标准。这在处理敏感信息时尤其重要。实施保障措施以保护个人隐私和数据安全。

• 数据质量

检查收集到的数据的质量。检查数据中是否存在缺失值、异常值和潜在错误。高质量的数据将在后续分析中产生更可靠的结果。

• 文档

记录数据收集过程。此文档应包含有关来源、收集技术、潜在偏差以及任何其他重要信息。因此，确保了透明度和可重复性。

• 自动数据收集

在某些情况下，可以使用脚本或工具自动收集数据。这在处理互联网来源或需要定期更新数据时很常见。

• 元数据收集

收集元数据，其中包含有关数据的信息。变量名、单位和描述是元数据的示例。这些信息对于理解和分析数据至关重要。

2. 数据清理

数据清理就像给数据做一次水疗；它包括在分析之前进行组织和准备。以下是详细信息

• 处理缺失值

识别并处理任何缺失的数据。根据情况，您可能需要删除带有缺失值的记录、在必要时推断值，或采用其他复杂方法。

• 管理重复项

识别并消除重复记录。重复条目可能导致结果不准确，从而扭曲分析。数据完整性要求每条记录都应该是唯一的。

• 处理异常值

查找异常值并处理它们。异常值可能对统计数据产生巨大影响。决定删除或转换它们以减小它们对分析的影响。

• 一致性检查

确保数据以一致的方式表示。例如，检查测量单位的一致性以及分类变量标签的一致性。不一致可能会导致分析错误。

• 数据验证

使用预先建立的规则验证数据。这包括确定数据是否符合预期的格式、范围或限制。不符合验证标准的数据可能需要纠正或进一步调查。

• 错误纠正

纠正数据错误。在清理过程中发现的拼写错误、不一致和其他问题都可能需要修复。

• 处理噪声数据

不准确或无关紧要的信息被视为噪声数据。为了提高分析的准确性，识别并消除噪声。

• 处理不一致性

修复编码或标签错误。为了确保类别定义清晰并准确反映底层概念，这对于分类变量至关重要。

• 数据插补

根据数据类型，选择是丢弃与缺失值相关的记录、使用统计插补技术来填补空白，还是使用其他技术。

• 文档

跟踪您在清理过程中所做的每一次更改。此文档通过让其他人能够理解对源数据所做的修改来促进透明度。

3. 数据集成

数据集成旨在整合来自多个来源的数据，使其兼容，并产生连贯的视图。这就像将拼图碎片组合在一起以获得更广泛的图景。这些是关键的行动

• 数据源识别

选择您想要整合的各种数据源。这些来源可以是任何存储库，包括数据库、电子表格、API 等。

• 匹配模式

识别每个数据源的模式和组织结构。模式匹配包括映射不同数据集的字段和属性以识别相似之处。

• 处理模式冲突

处理由不同属性名称或数据类型引起的任何模式不一致。通过映射或转换这些冲突来确保合并数据集的一致性。

• 数据转换

实现数据标准的格式。实现一致性可能涉及更改单位、标准化日期格式或其他更改。

• 消除数据冗余

在集成数据集中查找并删除冗余。冗余可能导致混乱和效率低下。可以通过使用诸如规范化之类的策略来减少冗余。

• 连接数据

垂直或水平合并数据记录。垂直串联添加行（实例），而水平串联添加列（属性）。要合并具有相关或补充信息的数据集。

• 处理重复数据

查找在集成过程中可能出现的任何重复项并处理它们。在合并来自多个来源的数据时，可能会出现重复项，消除它们对于维护数据准确性至关重要。

• 数据转换冲突

解决当来自多个源的同一属性应用了冲突的转换时出现的问题，以确保数据一致性。

• 数据质量

确保集成数据的质量保持不变或有所提高。集成过程的故障不应损害数据的完整性。

• 验证和测试

测试集成数据集，以确保其满足分析的要求。请通过根据预定标准验证集成数据，来验证它是否符合数据挖掘过程的总体目标。

• 文档

记录集成过程的每一步。这包括有关源系统、转换步骤以及集成过程中所做选择的信息。可重复性和透明度通过文档得到支持。

4. 数据转换

将原始数据转换为可分析形式的过程。这就像在烹饪前准备食物；确保一切都能很好地混合至关重要。主要观点如下

• 规范化

将数值属性缩放到一个共同的范围，通常是 0 到 1。归一化确保不同尺度的变量对研究的贡献相等。

• 标准化

转换数据，使标准差为 1，均值为 0。标准化在处理对输入特征大小敏感的算法时很有用。

• 聚合 (Aggregation)

将多个数据点汇总到一个文档中。聚合可以包括计算均值、总和或其他统计度量，以减少数据量，同时保留最重要的信息。

• 离散化

从连续数据创建离散数据。可能需要创建分箱或类别以简化特定分析或建模过程所需的数据。

• 时间戳处理

从时间戳中提取相关数据，如星期几、月份或年份。这使得使用时间模式进行分析成为可能。

• 分类数据编码

将分类变量转换为数字格式。对于需要数字输入的机器学习方法，这至关重要。独热编码和标签编码是技术的例子。

• 数据平滑

应用平滑技术来处理数据，以消除噪声或不规则性。这在时间序列数据中很常见，可以更快地识别趋势和模式。

• 创建属性/特征

创建可能产生更有洞察力的数据的新特征。这可能包括应用数学变换、开发交互项或从现有变量派生新变量。

• 缺失数据处理

使用插补方法填充缺失的值。均值和中位数插补以及更复杂的回归插补是常见技术。

• 文本数据转换

使用 TF-IDF（词频-逆文档频率）等预处理方法来消除停用词、词干提取文本或将其转换为数字表示。

• 数据筛选

特征提取或主成分分析（PCA）等方法可以降低数据的维度。因此，在不丢失任何关键信息的情况下，数据得到了简化。

• 处理偏斜数据

应用对数或平方根变换等变换来处理偏斜分布。这可能会提高数据对特定分析的适用性。

• 数据分箱

将连续数据放入区间或箱中。分箱可以简化数据并帮助突出被细微细节隐藏的模式。

5. 数据规约

数据规约从数据集中移除多余的“重量”，使其更易于管理和分析。让我们探讨数据规约的主要特征

• 降低维度

数据集的变量（特征）数量应减少。主成分分析（PCA）和奇异值分解（SVD）等技术可以从更多数据中提取最关键的信息，并将其压缩到更少的维度中。

• 因子分析

确定数据趋势的根本原因。这种方法可以在保留关键数据的情况下减少变量的数量。

• 分箱

将连续数据放入区间或箱中。这可以简化数据并使其更易于管理，同时保留关键的趋势和模式。

• 直方图分析

利用直方图检查数据的分布。消除考虑每个数据点的需要可以帮助定位和关注数据中最重要部分。

• 聚类

使用聚类技术，将相似的数据点分组。将数据集缩减到代表性的聚类中心，可以在保留集群内多样性的同时，使其更易于管理。

• 采样

为分析选择一部分数据，使用采样策略，因为它可以减少计算负担，而不会显着影响结果；这在处理大型数据集时尤其有用。

• 聚合 (Aggregation)

通过合并数据片段创建汇总统计信息。通过聚合数据可以简化数据集，同时保留关键信息，如总计或平均值。

• 数据立方体聚合

在数据仓库中，通过沿不同维度组合数据来创建数据立方体。此摘要可实现高效的查询和分析。

• 删除缺失值

如果带有缺失值的数据记录对分析不重要，您可能需要考虑将其删除。这会产生一个更小的数据集，同时保持完整性。

• 数据挖掘工具

利用专门的数据挖掘技术，通过自动识别和删除冗余或不必要的信息来简化数据集。

• 特征选择

选择与分析最相关特征。可以使用递归特征消除（RFE）或信息增益等方法来查找信息量最大的变量。

• 相关性分析

查找高度相关的因素，并考虑删除其中一个。高度相关的变量通常包含冗余数据。

• 数据压缩

为了更有效地表示数据，使用压缩技术。这可能对大型数据集有利，可以节省存储空间并加速处理。

• 数据摘要

创建聚合或摘要表来总结数据。此缩减形式仍保留数据的基本属性，使其更易于处理。

6. 数据离散化

将连续数据转换为离散类别或分箱称为数据离散化。这可以使数据更易于维护，简化分析，并且通常对特定算法有帮助。以下是如何实现这一点

• 动机

认识到离散化的必要性。当处理需要分类或有序数据而非连续值的算法或研究时，通常会使用它。

• 选择离散化技术

根据数据的特征和研究需求选择合适的离散化技术。等宽分箱、等频分箱和基于聚类的分箱是常用技术。

• 等宽分箱

将连续值范围划分为等宽的区间。这种技术确保每个箱具有相同的数值范围，但可能无法准确反映底层数据分布。

• 等频分箱

将数据排序到具有大致相同数据点数量的箱中。这种技术有助于更准确地捕捉数据的分散情况。

• 基于聚类的分箱

利用聚类方法通过组合相似的数据点来创建箱。当数据具有自然聚类时，这种策略可以非常有用。

• 基于熵的分箱

根据数据的熵选择分箱。此策略的目标是产生最大化信息增益的箱。

• 自定义分箱

根据主题专业知识或特定规范创建独特的箱。这使得能够采用更适合数据特征的策略。

• 处理偏斜数据

在离散化之前，考虑变换，如对数缩放，特别是如果数据分布偏斜。这可能有助于产生更好的平衡箱。

• 处理异常值

在离散化之前应处理异常值，因为极端值可能不成比例地影响箱边界。可以使用诸如温莎化或变换异常值之类的技术。

• 保持可解释性

确保生成的离散类别在分析的上下文中是可理解且相关的。信息必须得到简化，同时保留关键细节。

数据归一化与数据标准化

1. 归一化

当数据集中特征的范围不同时，归一化很有用。通过将它们都带入相同的尺度，您可以避免某些特征因其较大的幅度而占据中心位置。这对于像神经网络和 k-means 聚类这样依赖输入特征大小的算法至关重要。

2. 标准化

当特征具有不同的均值和标准差时，标准化是有效的。它确保特征具有恒定的分布并以零为中心。这对于诸如线性回归等假设数据正态分布的方法至关重要。

何时使用哪种？

规范化

• 您拥有具有不同范围的特征。
• 距离计算是您技术（例如 K 近邻）的关键。
• 您正在使用神经网络。

标准化

• 您的属性具有不同的均值和标准差。
• 您的算法（例如，线性回归）假设数据分布良好。
• 您正在使用尽管不假设特定分布但可能表现更好的算法。

注意事项

归一化和标准化不会影响分布的形状；它们只会改变尺度。因此，保留了原始特征的可解释性。

• 异常值：由于标准化依赖于均值和标准差，受极端结果的影响较小，因此它对异常值更具抵抗力。由于归一化使用整个数据集，异常值可能会产生影响。
• 算法敏感性：不同的算法响应不同，具体取决于选择标准化还是归一化。始终检查您正在使用的特定算法的规范或指南是一个明智的想法。
• 领域考虑：在归一化和标准化之间进行选择有时可能会受到领域专业知识或特定问题需求的影响。

特征选择

选择最具影响力的元素以提供吸引人的结果，就像为数据分析创建理想的播放列表一样。让我们研究一下这个想法

1. 目标

选择数据集中最相关的属性进行分析。目标是提高模型性能、减少过拟合和增强可解释性。

2. 特征选择类型

• 过滤技术：独立于模型，根据相关性或信息增益等统计指标评估特征。在模型训练之前选择特征。
• 包裹方法：根据模型性能选择特征。必须使用不同的特征子集来训练和评估模型。
• 嵌入方法：模型训练过程包含特征选择。某些算法提供了在训练期间选择特征的方法。

3. 技术

• 相关性分析：使用相关性分析查找并消除高度相关的、可能冗余的特征。
• 信息（互信息）：确定特征与目标变量之间传递了多少信息。
• 递归特征消除（RFE）：这是一种涉及重复训练模型并删除最不重要特征直到找到最佳集合的技术。
• 基于树的方法：决策树和基于树的集成方法（如随机森林）会自动生成特征重要性分数。
• LASSO：“最小绝对收缩和选择算子”（LASSO）通过向回归方程添加惩罚项来促进稀疏性和特征选择。

4. 优惠

• 更好的模型性能：通过专注于信息量最大的特征，模型通常能更好地泛化到新的、未探索的数据。
• 最小化过拟合：消除无关或不必要的特征可防止模型过度拟合数据中的噪声。
• 计算效率：使用更少特征训练模型通常更快。

5. 文档记录

记录特征选择的理由、使用的方法以及选择的最终特征集。此文档支持可重复性和透明度。

数据表示

将数据转换为可分析和可解释的格式。有效的数据表示提供了相关的见解并增强了理解。

1. 数据表示类型

• 表格表示

数据应以行和列的形式组织，每行代表一个实例，每列代表一个特征或属性。

• 图形表示

使用图表、图形、直方图、散点图和其他视觉特征可视化数据，以识别模式和趋势。

• 文本表示

使用描述性文字、摘要或报告来说明数据。在自然语言处理（NLP）等领域很常见。

2. 数据表示的常用方法

• 直方图和条形图：显示连续或分类数据的分布。
• 散点图：将两个连续变量之间的关系可视化。
• 折线图：表示周期性模式或变化。
• 热力图：使用颜色强度来传达现象的大小。
• 饼图：显示不同类别对整体的贡献。
• 箱形图：描述数据集的分布并指出任何异常值。
• 网络图：显示实体之间的关系。
• 词云：在文本数据中，突出显示频繁出现的词语。