数据挖掘教程

数据挖掘教程提供了数据挖掘的基础和高级概念。我们的数据挖掘教程是为学习者和专家设计的。

数据挖掘是最有用的技术之一，它帮助企业家、研究人员和个人从海量数据中提取有价值的信息。数据挖掘也称为数据库中的知识发现（KDD）。知识发现过程包括数据清洗、数据集成、数据选择、数据转换、数据挖掘、模式评估和知识呈现。

我们的数据挖掘教程包括数据挖掘的所有主题，例如应用程序、数据挖掘与机器学习、数据挖掘工具、社交媒体数据挖掘、数据挖掘技术、数据挖掘中的聚类、数据挖掘中的挑战等。

引言

从数据集中提取有价值信息的主要原因是将其转换为可理解的结构以供进一步使用。公司经常使用数据挖掘软件来了解其客户的行为。这是一种非常有用的技术，它在医疗保健、研究导向工作、电信、生物信息学、营销、商业用途等领域都有广泛的应用。数据挖掘还可以用于测谎或欺诈检测。数据挖掘涉及——从数据中提取洞察力、在关键情况下做出决策、了解客户心理、创新、个人发展和执行。尽管数据挖掘在我们的日常生活中做出了巨大贡献，但这引发了伦理或隐私方面的风险，因为数据挖掘涉及个人数据。因此，在使用数据挖掘之前，我们需要确保其以符合道德的方式进行。因此，我们可以保护我们的私人或敏感数据。

什么是数据挖掘？

从海量数据中提取信息以识别模式、趋势和有用数据，从而使企业能够做出数据驱动的决策的过程称为数据挖掘。

换句话说，我们可以说数据挖掘是调查信息隐藏模式以将其分类为有用数据的过程，这些数据在特定领域（例如数据仓库、高效分析、数据挖掘算法）中收集和组装，帮助决策制定和其他数据需求，最终实现成本削减和创收。

数据挖掘是自动搜索大量信息存储以发现超出简单分析程序的趋势和模式的行为。数据挖掘利用复杂的数学算法进行数据分段并评估未来事件的可能性。数据挖掘也称为数据知识发现（KDD）。

数据挖掘是组织用来从庞大数据库中提取特定数据以解决业务问题的过程。它主要将原始数据转化为有用信息。

数据挖掘类似于数据科学，由一个人在特定情况下，在特定数据集上，带着一个目标执行。这个过程包括各种类型的服务，例如文本挖掘、网络挖掘、音频和视频挖掘、图像数据挖掘和社交媒体挖掘。它通过简单或高度专业的软件完成。通过外包数据挖掘，所有工作都可以更快地完成，且运营成本较低。专业公司还可以使用新技术来收集手动无法找到的数据。各种平台上都有大量信息可用，但可获取的知识却很少。最大的挑战是分析数据以提取可用于解决问题或公司发展的重要信息。有许多强大的工具和技术可用于挖掘数据并从中找到更好的洞察力。

数据挖掘类型

数据挖掘可以在以下类型的数据上执行

关系数据库

关系数据库是多个数据集的集合，这些数据集通过表、记录和列进行正式组织，无需识别数据库表即可通过各种方式访问数据。表传输和共享信息，这有助于数据的可搜索性、报告和组织。

数据仓库

数据仓库是一种技术，它从组织内的各种来源收集数据，以提供有意义的业务洞察。大量数据来自多个地方，例如营销和财务。提取的数据用于分析目的，并有助于商业组织的决策制定。数据仓库设计用于数据分析，而非事务处理。

数据存储库

数据存储库通常指数据存储目的地。然而，许多IT专业人员更清楚地使用该术语来指代IT结构中特定类型的设置。例如，一组数据库，组织在其中保存了各种类型的信息。

对象关系数据库

面向对象数据库模型和关系数据库模型的组合称为对象关系模型。它支持类、对象、继承等。

对象关系数据模型的主要目标之一是弥合关系数据库与在许多编程语言（例如C++、Java、C#等）中经常使用的面向对象模型实践之间的差距。

事务数据库

事务数据库是指一种数据库管理系统（DBMS），它有能力在数据库事务未正确执行时撤销该事务。尽管这在很久以前是一种独特的功能，但如今，大多数关系数据库系统都支持事务数据库活动。

数据挖掘过程

数据挖掘可以分步执行。要执行的步骤是——

1. 研究问题

• 首先了解公司或项目的主要目标。
• 需要识别现有的问题。
• 理解并解决项目的限制。

2. 收集数据

• 找出解决特定问题所需的数据类型。
• 然后从各种真实来源收集数据。这可能包括数据库、数据仓库和外部来源。

3. 数据准备

• 首先清洗数据，处理数据错误和缺失数据。
• 以特定格式准备数据。
• 此步骤包括数据转换和标准化。

a. 探索性数据分析

• 探索性数据分析，也称为EDA，涉及数据分析以了解其结构、分布和变量之间的关系。

b. 模型选择和训练

• 首先根据现有问题选择合适的数据挖掘技术和算法。
• 因此，创建所需的模型，并训练模型以相应地执行工作。

c. 模型评估

• 以业务为导向的目标验证模型。
• 如果需要更改或调整数据，模型评估是必要的。

d. 部署

• 这是数据挖掘的最终过程。此步骤是将数据挖掘应用于生成商业智能。

数据挖掘工具

数据挖掘工具是为我们提供对数据及其所代表现象更深入可见性的系统。有许多数据挖掘工具。但在这里我们将学习五种最常见和重要的数据挖掘工具。它们如下所述 -

1. SAS 数据挖掘
2. Orange 数据挖掘
3. Rattle
4. Data Melt 数据挖掘
5. RapidMiner

数据挖掘的优点

• 数据挖掘技术使组织能够获取基于知识的数据。
• 数据挖掘使组织能够在运营和生产方面做出有利可图的调整。
• 与其他统计数据应用相比，数据挖掘具有成本效益。
• 数据挖掘有助于组织的决策过程。
• 它促进了隐藏模式的自动发现以及趋势和行为的预测。
• 它可以引入到新系统以及现有平台中。
• 这是一个快速的过程，使新用户可以轻松地在短时间内分析大量数据。

数据挖掘的缺点

• 存在组织可能将客户的有用数据出售给其他组织以换取金钱的可能性。据报道，美国运通已将其客户的信用卡购买记录出售给其他组织。
• 许多数据挖掘分析软件操作困难，需要高级培训才能使用。
• 由于设计中使用的算法不同，不同的数据挖掘工具以不同的方式运行。因此，选择合适的数据挖掘工具是一项非常具有挑战性的任务。
• 数据挖掘技术不精确，因此在某些情况下可能导致严重后果。

数据挖掘应用

数据挖掘主要被具有强烈消费者需求的组织使用——零售、通信、金融、营销公司，用于确定价格、消费者偏好、产品定位以及对销售、客户满意度和企业利润的影响。数据挖掘使零售商能够利用客户购买的销售点记录来开发产品和促销活动，从而帮助组织吸引客户。

以下是数据挖掘广泛应用的领域

医疗保健领域的数据挖掘

数据挖掘在医疗保健领域具有改善卫生系统的巨大潜力。它利用数据和分析来获得更好的洞察力，并识别将增强医疗保健服务并降低成本的最佳实践。分析师使用机器学习、多维数据库、数据可视化、软计算和统计等数据挖掘方法。数据挖掘可用于预测每个类别的患者。这些程序确保患者在正确的时间、正确的地点获得重症监护。数据挖掘还使医疗保健保险公司能够识别欺诈和滥用。

市场篮子分析中的数据挖掘

市场篮子分析是一种基于假设的建模方法。如果您购买了特定的一组产品，那么您更有可能购买另一组产品。这项技术可以使零售商了解买家的购买行为。这些数据可以帮助零售商了解买家的需求并相应地调整商店布局。通过对不同商店之间、不同人口群体客户之间进行不同的分析比较。

教育中的数据挖掘

教育数据挖掘是一个新兴领域，致力于开发从教育环境中生成的数据中探索知识的技术。EDM 目标被确认为确认学生的未来学习行为、研究教育支持的影响和促进学习科学。组织可以使用数据挖掘做出精确的决策，并预测学生的成绩。通过这些结果，机构可以专注于教什么以及如何教。

制造工程中的数据挖掘

知识是制造公司拥有的最佳资产。数据挖掘工具可以有效地在复杂的制造过程中发现模式。数据挖掘可用于系统级设计，以获取产品架构、产品组合和客户数据需求之间的关系。它还可以用于预测产品开发周期、成本和其他任务中的期望。

客户关系管理（CRM）中的数据挖掘

客户关系管理（CRM）旨在获取和留住客户，同时提高客户忠诚度并实施以客户为中心的策略。为了与客户建立良好的关系，商业组织需要收集和分析数据。借助数据挖掘技术，收集到的数据可用于分析。

欺诈检测中的数据挖掘

数十亿美元因欺诈行为而损失。传统的欺诈检测方法有点耗时且复杂。数据挖掘提供有意义的模式并将数据转化为信息。理想的欺诈检测系统应保护所有用户的数据。监督方法由一系列样本记录组成，这些记录被分类为欺诈性或非欺诈性。利用这些数据构建模型，并应用该技术来识别文档是否为欺诈性。

测谎中的数据挖掘

逮捕罪犯不是一件大事，但从他口中说出真相却是一项极具挑战性的任务。执法部门可以利用数据挖掘技术调查犯罪、监控可疑恐怖分子的通信等。这项技术也包括文本挖掘，它在数据中寻找有意义的模式，这些数据通常是非结构化文本。将先前调查收集的信息进行比较，并构建一个测谎模型。

数据挖掘金融银行

银行系统的数字化预计将随着每一笔新交易产生巨量数据。数据挖掘技术可以通过识别商业信息和市场成本中的趋势、因果关系和相关性来帮助银行家解决银行和金融领域的商业相关问题，这些趋势、因果关系和相关性对经理或高管来说并不明显，因为数据量太大或专家在屏幕上生成得太快。经理可以利用这些数据更好地定位、获取、保留、细分和维护盈利客户。

数据挖掘实施的挑战

尽管数据挖掘功能强大，但在执行过程中仍面临许多挑战。各种挑战可能与性能、数据、方法和技术等有关。当挑战或问题得到正确识别并充分解决时，数据挖掘过程才会变得有效。

不完整和有噪声的数据

从大量数据中提取有用数据的过程是数据挖掘。现实世界中的数据是异构的、不完整且有噪声的。大量数据通常是不准确或不可靠的。这些问题可能由于数据测量仪器或人为错误而发生。假设一家零售连锁店收集了消费超过500美元的顾客的电话号码，会计员工将信息输入他们的系统。该人员在输入电话号码时可能会犯数字错误，从而导致数据不正确。甚至有些顾客可能不愿意透露他们的电话号码，从而导致数据不完整。数据可能会因人为或系统错误而改变。所有这些后果（有噪声和不完整的数据）使数据挖掘具有挑战性。

数据分布

真实世界的数据通常以分布式计算环境中的各种平台存储。它可能存在于数据库、独立系统，甚至互联网上。实际上，将所有数据集中到中央数据存储库是一项相当艰巨的任务，主要是由于组织和技术方面的考虑。例如，各个区域办事处可能拥有自己的服务器来存储其数据。将所有办事处的所有数据存储在中央服务器上是不可行的。因此，数据挖掘需要开发允许挖掘分布式数据的工具和算法。

复杂数据

真实世界的数据是异构的，它可能是多媒体数据，包括音频和视频、图像、复杂数据、空间数据、时间序列等等。管理这些各种类型的数据并提取有用信息是一项艰巨的任务。大多数时候，必须改进新技术、新工具和新方法才能获取特定信息。

性能

数据挖掘系统的性能主要取决于所用算法和技术的效率。如果设计的算法和技术不达标，数据挖掘过程的效率将受到不利影响。

数据隐私与安全

数据挖掘通常会导致数据安全、治理和隐私方面的严重问题。例如，如果零售商分析购买商品的详细信息，那么它会在未经客户许可的情况下泄露有关客户购买习惯和偏好的数据。

数据可视化

在数据挖掘中，数据可视化是一个非常重要的过程，因为它是以可呈现的方式向用户显示输出的主要方法。提取的数据应传达其想要表达的精确含义。但很多时候，以精确简单的方式向最终用户呈现信息是困难的。由于输入数据和输出信息很复杂，需要实施高效且成功的数据可视化过程才能使其成功。

除了上述问题之外，数据挖掘还有许多其他挑战。随着实际数据挖掘过程的开始，会发现更多问题，而数据挖掘的成功取决于克服所有这些困难。

前提条件

在学习数据挖掘概念之前，您应该对统计学、数据库知识和基本的编程语言有基本的了解。

目标受众

我们的数据挖掘教程是为所有初学者或计算机科学毕业生准备的，旨在帮助他们学习与数据挖掘相关的基础到高级技术。

问题

我们向您保证，在学习我们的数据挖掘教程时，您不会遇到任何困难。但是，如果本教程中有任何错误，请在联系表中发布问题或错误，以便我们进行改进。

关于数据挖掘的一些重要选择题

1. 谁最先提出“KDD”一词，是哪一年？

1. 约翰·麦卡锡，1998年
2. 格雷戈里·皮亚捷茨基·夏皮罗，1989年
3. 阿瑟·塞缪尔，1967年
4. 丹尼斯·里奇，1970年

2. 下面哪个不是数据挖掘工具？

1. Rattle
2. Orange 数据挖掘
3. RapidMiner
4. DSA

3. 在数据挖掘过程中使用哪种开源软件

1. KNIME
2. GATE
3. MOA
4. 以上全部。

4. 数据挖掘可用于 -

1. 市场商业分析
2. 欺诈检测或测谎
3. 金融银行
4. 以上所有

5. “KDD”代表什么？

1. 数据库中的知识发现
2. 知识数据仓库
3. 知识区分数据
4. 以上都不是。