数据挖掘中的数据清洗

2025年03月17日 | 阅读 9 分钟

数据清洗是数据挖掘过程中必不可少的一步。它对模型的构建至关重要。数据清洗是必需但经常被所有人忽略的步骤。质量信息管理的主要问题是数据质量。数据质量问题可能发生在信息系统中的任何地方。数据清洗为这些问题提供了解决方案。

数据清洗是从数据集中纠正或删除不准确、损坏、格式不正确、重复或不足的数据的过程。即使结果和算法看起来正确，如果数据不准确，它们也是不可靠的。当合并多个数据源时，数据可能以多种方式重复或标记不正确。

通常，数据清洗会减少错误并提高数据质量。尽管这可能是一个耗时且费力的操作，但必须纠正数据错误并删除不正确的信息。数据挖掘是清理数据的关键方法。数据挖掘是一种在数据中查找有用信息的方法。数据质量挖掘是一种新颖的方法论，它使用数据挖掘方法来发现和修复大型数据库中的数据质量问题。数据挖掘机械地从大型数据集中提取内在和隐藏信息。数据清洗可以通过各种数据挖掘方法实现。

为了获得精确的最终分析，理解和提高数据质量至关重要。数据必须准备好以识别关键模式。探索性数据挖掘是可以理解的。在进行业务分析和获取洞察之前，数据挖掘中的数据清洗使用户能够识别错误或缺失的数据。

由于数据清洗非常耗时，数据挖掘之前的数据清洗通常是一个耗时的过程，需要 IT 人员协助审查数据的初始步骤。但是，如果您的最终分析不准确或结果错误，这可能是由于数据质量不佳造成的。

数据清洗步骤

即使所采用的技术可能因贵公司存储的数据类型而异，您也可以遵循这些基本阶段来清洗数据

1. 删除重复或不相关的观察结果

从数据集中删除重复或无意义的观察结果以及不必要的观察结果。大多数重复的观察结果将发生在数据收集期间。当您合并来自多个来源的数据集、抓取数据或从客户或其他部门获取数据时，可能会生成重复数据。在此过程中要考虑的最重要因素之一是去重。当您观察到与您试图分析的特定问题无关的观察结果时，这些观察结果被认为是不相关的。

例如，如果您想分析千禧一代客户的数据，但您的数据集中也包含早期世代的观察结果，则可以消除这些无用的观察结果。这可以提高分析效率，减少偏离主要目标的偏差，并生成更易于维护和使用的数据集。

2. 修复结构错误

当您测量或传输数据并发现奇怪的命名约定、拼写错误或错误的大小写时，这些就是结构性错误。这些不一致可能会导致类别或类别的错误标记。例如，任何给定工作表上可能存在“不适用”和“不适用”，但它们应该在同一标题下进行分析。

3. 过滤掉不需要的异常值

通常会有一些孤立的发现，乍一看似乎与您正在分析的数据不符。如果您有充分的理由（例如错误的数据输入）删除异常值，将提高您正在处理的数据的性能。

然而，有时异常值的出现会支持您正在研究的理论。仅仅因为存在异常值，并不一定表明它不准确。为了确定数字的可靠性，此步骤是必要的。如果异常值被证明不正确或对分析不重要，您可能需要将其删除。

4. 处理缺失数据

因为许多算法不容忍缺失值，所以您不能忽视缺失数据。有几种处理缺失数据的选项。虽然两者都不理想，但两者都可以考虑，例如

尽管您可以删除具有缺失值的观察结果，但这样做会导致信息丢失，因此请谨慎行事。

同样，存在破坏数据完整性的可能性，因为当您根据其他观察结果输入缺失数字时，您可能正在根据假设而不是实际观察结果进行工作。

为了有效地浏览空值，您可能需要更改数据的使用方式。

5. 验证和质量保证

作为基本验证的一部分，数据清洗过程完成后，您应该能够回答以下问题

数据一致吗？
数据是否符合其特定领域适用的法规？
它支持还是反驳您的工作理论？它提供任何新信息吗？
为了支持您的下一个理论，您能否在数据中识别出任何趋势？
如果不是，数据质量有问题吗？

由于数据不准确或有噪音，错误的结论可能被用于指导糟糕的公司策略和决策。当您发现在报告会议上，您的数据无法承受进一步调查时，错误的结论可能会导致令人尴尬的局面。在您到来之前，在您的组织中建立数据质量文化至关重要。应该记录您可能用来制定此计划的工具，以实现此目标。

数据清洗技术

数据应该通过可用的各种数据清洗过程之一。下面解释了这些过程

忽略元组： 这种方法不太实用，因为它仅在元组具有多个特征和缺失值时才有用。
填充缺失值： 这种策略也不太实用或有效。此外，这可能是一种耗时的方法。必须将缺失值添加到该方法中。最常见的方法是手动，但其他选项包括使用属性均值或最可能的值。
分箱法： 这种策略很容易理解。使用附近的值来平滑排序数据。然后将信息分成几个大小相等的部分。然后使用各种技术来完成任务。
回归： 借助回归函数，数据被平滑。回归可以是多元的或线性的。多元回归比线性回归具有更多的自变量，而线性回归只有一个自变量。
聚类： 这种技术主要侧重于组。数据使用聚类进行分组。之后，使用聚类来查找异常值。之后，将相似的值分组到一个“组”或“簇”中。

数据清洗过程

数据挖掘的数据清洗方法将在以下部分中演示。

监控错误： 跟踪错误似乎最常发生的地方。识别和维护不准确或损坏的信息将更简单。在将潜在替代品与当前管理软件集成时，信息尤其重要。
标准化挖掘过程： 为了帮助降低重复的可能性，请标准化插入位置。
验证数据准确性： 分析数据并投资数据清洗软件。使用基于人工智能的工具彻底检查准确性。
清除重复数据： 为了在分析数据时节省时间，查找重复项。通过分析和投资独立的、可以大量分析不完善数据并实现操作自动化的数据清除技术，可以避免再次尝试相同的数据。
数据研究： 在此操作之前，我们的数据需要经过审查、标准化和重复检查。有许多第三方来源，这些经过审查和批准的来源可以直接从我们的数据库中提取数据。它们帮助我们收集数据并对其进行清理，使其可靠、准确和全面，以便用于业务决策。
与团队沟通： 让团队了解情况将有助于客户发展和加强，以及向潜在客户提供更具针对性的信息。

数据挖掘中数据清洗的用途。

以下是数据挖掘中数据清洗的一些用例

数据集成： 由于难以保证低质量数据的质量，数据集成在解决此问题方面至关重要。将来自各种数据集的信息合并到一个数据集中的过程称为数据集成。在传输到最终位置之前，此步骤确保使用数据清洗技术对嵌入式数据集进行标准化和格式化。
数据迁移： 将文件从一个系统、格式或应用程序传输到另一个系统的过程称为数据迁移。为了确保目标数据具有正确的格式、结构和一致性，而不会在目标位置出现任何敏感性，在数据传输过程中保持数据质量、安全性和一致性至关重要。
数据转换： 数据在上传到某个位置之前必须进行更改。数据清洗是唯一可以实现此目的的方法，它会考虑系统对格式、组织等的要求。在进行进一步分析之前，数据转换技术通常涉及使用规则和过滤器。大多数数据集成和数据管理方法都将数据转换作为必要的步骤。利用系统的内部转换，数据清洗工具有助于清洗数据。
ETL 过程中的数据调试： 为了在提取、转换和加载 (ETL) 过程中准备数据以进行报告和分析，数据清洗至关重要。只有高质量的数据才能用于决策和分析，这要归功于数据净化。

清洗数据至关重要。例如，零售企业可能会从不同的来源（包括 CRM 或 ERP 系统）接收不准确或重复的数据。可靠的数据调试工具将发现并修复数据差异。删除的信息将转换为通用格式并传输到目标数据库。

数据清洗的特点

为了确保企业数据的正确性、完整性和安全性，数据清洗是必需的。这些的质量可能因数据的属性或特性而异。数据挖掘中数据清洗的关键组成部分如下

准确性： 企业的数据库必须只包含极其准确的数据。将它们与其他来源进行比较是确认其真实性的一种技术。如果找不到来源或包含错误，则存储的数据也会出现问题。
一致性： 为了确保有关个人或实体的信息在所有类型的存储中都是相同的，数据必须相互一致。
有效性： 必须对存储的数据设置规则或限制。信息还必须经过确认以支持其真实性。
统一性： 数据库中的所有数据都必须共享相同的单位或值。由于它不会使过程复杂化，因此在进行数据清洗过程时它是一个关键组成部分。
数据验证： 必须检查过程的每一步，包括其适当性和有效性。研究、设计和验证阶段都在验证过程中发挥作用。在将数据应用于特定数量的更改后，缺点通常很明显。
干净数据回流： 在解决质量问题后，必须用源中不存在的数据替换以前的干净数据，以便旧应用程序可以从中受益并避免需要后续数据清洗程序。