数据挖掘中的离散化

数据离散化是指一种将大量数据值转换为较小值的方法，以便更容易地评估和管理数据。换句话说，数据离散化是一种将连续数据的属性值转换为有限个区间的方法，同时将数据损失最小化。数据离散化有两种形式：第一种是监督离散化，第二种是非监督离散化。监督离散化是指使用类别数据的处理方法。非监督离散化是指根据操作进行方式来判断的方法。这意味着它采用自顶向下分裂策略和自底向上合并策略。

现在，我们可以通过一个例子来理解这个概念。

假设我们有一个名为“年龄”的属性，其值为：

离散化前表格

另一个例子是分析，我们收集网站访问者的静态数据。例如，所有访问网站的IP地址为印度的访问者都会显示为国家级别。

一些著名的数据离散化技术

直方图分析

直方图是指用于表示连续数据集的潜在频率分布的图。直方图有助于检查数据分布。例如，异常值、偏度表示、正态分布表示等。

分箱

分箱是指一种数据平滑技术，它有助于将大量的连续值分组为较小的值。对于数据离散化和概念层次结构的开发，也可以使用此技术。

聚类分析

聚类分析是一种数据离散化形式。通过将x个值的集合划分为簇来执行聚类算法，以分离x的计算特征。

使用决策树分析的数据离散化

数据离散化是指决策树分析，其中使用自顶向下的切片技术。它是通过监督过程完成的。在数值属性离散化中，首先需要选择熵最小的属性，然后需要使用递归过程运行它。递归过程使用相同的分裂标准，从上到下将其划分为多个离散的不相交区间。

使用相关性分析的数据离散化

通过线性回归技术离散化数据，可以获得最佳的相邻区间，然后将大区间合并以形成更大的重叠，从而形成最终的20个重叠区间。这是一个监督过程。

数据离散化和概念层次生成

层次结构一词表示一个组织结构或映射，其中项目根据其重要性级别进行排名。换句话说，我们可以说层次概念是指一组从更一般的概念到复杂概念的映射序列。这意味着从低级概念到高级概念的映射。例如，在计算机科学中，有不同类型的层次结构系统。在Windows中，一个文件放置在一个文件夹中，该文件夹在树结构中的特定位置是计算机层次树模型的最佳示例。有两种层次结构：自顶向下映射和自底向上映射。

让我们通过一个例子来理解位置维度上的这个概念层次。

一个特定的城市可以映射到所属的国家。例如，新德里可以映射到印度，印度可以映射到亚洲。

自顶向下映射

自顶向下映射通常从顶部开始，包含一些一般信息，并最终到底部，得到专业信息。

自底向上映射

自底向上映射通常从底部开始，包含一些专业信息，并最终到顶部，得到一般信息。

数据离散化和数据挖掘中的二值化

数据离散化是一种将连续数据的属性值转换为有限个区间的方法，同时将数据损失最小化。相比之下，数据二值化用于将连续和离散属性转换为二元属性。

为什么离散化很重要？

我们知道，连续数据会带来一个具有无限自由度的数学问题。出于多种目的，数据科学家需要实现离散化。它也用于提高信噪比。