数据挖掘技术

数据挖掘涉及利用精密的分析工具，在海量数据集中发现先前未知且有效的模式和关系。这些工具可以包括统计模型、机器学习技术和数学算法，例如神经网络或决策树。因此，数据挖掘结合了分析和预测。

数据挖掘领域的专业人士凭借机器学习、数据库管理和统计学交叉领域的各种方法和技术，致力于更好地理解如何处理海量数据并从中得出结论，但他们使用了哪些方法来实现这一目标呢？

在近期的数据挖掘项目中，已开发并使用了多种主要的数据挖掘技术，包括关联、分类、聚类、预测、序列模式和回归。

1. 分类

该技术用于获取有关数据和元数据的重要且相关的信息。这种数据挖掘技术有助于将数据分类到不同的类别中。

数据挖掘技术可以根据不同的标准进行分类，如下所示

1. 根据挖掘的数据源类型对数据挖掘框架进行分类
   这种分类是根据处理的数据类型进行的。例如，多媒体数据、空间数据、文本数据、时间序列数据、万维网等。
2. 根据所涉及的数据库对数据挖掘框架进行分类
   这种分类基于所涉及的数据模型。例如，面向对象数据库、事务型数据库、关系型数据库等。
3. 根据发现的知识类型对数据挖掘框架进行分类
   这种分类取决于发现的知识类型或数据挖掘功能。例如，判别、分类、聚类、特征化等。一些框架倾向于是提供多种数据挖掘功能的综合框架。
4. 根据使用的数据挖掘技术对数据挖掘框架进行分类
   这种分类是根据所采用的数据分析方法进行的，例如神经网络、机器学习、遗传算法、可视化、统计学、面向数据仓库或面向数据库等。
   分类还可以考虑数据挖掘过程中涉及的用户交互级别，例如查询驱动系统、自主系统或交互式探索系统。

2. 聚类

聚类是将信息划分为相互关联的对象组。通过少量聚类来描述数据，主要会丢失某些局部细节，但能实现改进。它通过聚类对数据进行建模。从历史角度看，数据建模将聚类植根于统计学、数学和数值分析。从机器学习的角度看，聚类与隐藏模式相关，搜索聚类是无监督学习，随后的框架代表了一个数据概念。从实践角度看，聚类在数据挖掘应用中发挥着非凡的作用。例如，科学数据探索、文本挖掘、信息检索、空间数据库应用、CRM、Web分析、计算生物学、医疗诊断等等。

换句话说，我们可以说聚类分析是一种用于识别相似数据的数据挖掘技术。这种技术有助于识别数据之间的差异和相似性。聚类与分类非常相似，但它涉及根据相似性将数据块分组在一起。

3. 回归

回归分析是一种数据挖掘过程，用于识别和分析变量之间由于其他因素的存在而产生的关系。它用于定义特定变量的概率。回归，主要是一种规划和建模形式。例如，我们可以用它来预测某些成本，这取决于可用性、消费者需求和竞争等其他因素。它主要给出给定数据集中两个或多个变量之间的确切关系。

4. 关联规则

这种数据挖掘技术有助于发现两个或多个项目之间的关联。它在数据集中发现隐藏的模式。

关联规则是 if-then 语句，支持在不同类型的数据库中显示大型数据集中数据项之间交互的概率。关联规则挖掘有多种应用，常用于帮助数据或医疗数据集中的销售关联。

该算法的工作方式是，您有各种数据，例如，您过去六个月购买的杂货清单。它计算一起购买的物品的百分比。

以下是三种主要的测量技术

• 升降机
  这种测量技术衡量购买商品B的置信度有多准确。
                    （置信度）/（商品B）/（整个数据集）
• 支持
  这种测量技术衡量同时购买多种商品与整个数据集相比的频率。
                    （商品A + 商品B）/（整个数据集）
• 信心
  这种测量技术衡量购买商品A时购买商品B的频率。
                    （商品A + 商品B）/（商品A）

5. 异常检测

这类数据挖掘技术涉及观察数据集中与预期模式或预期行为不符的数据项。该技术可用于入侵检测、欺诈检测等各种领域。它也被称为异常分析或异常挖掘。异常值是与数据集其余部分差异过大的数据点。大多数真实世界的数据集都存在异常值。异常检测在数据挖掘领域扮演着重要角色。异常检测在许多领域都很有价值，例如网络中断识别、信用卡或借记卡欺诈检测、无线传感器网络数据中的异常值检测等。

6. 序列模式

序列模式是一种专门用于评估序列数据以发现序列模式的数据挖掘技术。它包括在一组序列中寻找有趣的子序列，其中序列的价值可以根据长度、出现频率等不同标准来衡量。

换句话说，这种数据挖掘技术有助于在一段时间内的事务数据中发现或识别相似的模式。

7. 预测

预测结合了趋势、聚类、分类等其他数据挖掘技术。它按正确顺序分析过去的事件或实例以预测未来事件。