数据挖掘的优缺点

数据挖掘定义

数据挖掘，也称为“数据库中的知识发现”或 KDD，是分析阶段，旨在识别海量数据集中的模式。它是统计学的一个分支。它使用数据库管理系统、统计学、机器学习和人工智能技术。数据挖掘的主要目标是从数据集中提取信息，并将其组织成易于理解的结构以供将来使用。它处理原始分析的特征以及数据和数据库管理、数据处理、模型和推理考虑、兴趣度量、计算复杂性理论的考虑、已揭示结构的后处理、可视化和在线更新。

该术语被广泛使用，但经常被错误地用于指代任何大规模的数据或信息处理（收集、提取、存储、分析和统计），以及用于指代任何类型的计算机决策支持系统，包括人工智能、机器学习和商业智能。关键概念是发现，通常解释为“对新事物的注意”。

就连著名的书籍《数据挖掘：具有 Java 的实际学习工具和技术系统》（包含所有机器学习信息）最初也只是打算称为“实际学习的机器”，并且“数据挖掘”一词甚至不在标题中。出于营销目的，它被包含在内。最宽泛的短语，如“（大规模）数据分析”、“分析”，或者，当提及现代技术时，人工智能和机器学习，通常是更可取的。

数据挖掘的真正目标是自动或半自动地分析海量数据，以发现以前未知的模式，例如记录集群、异常记录和依赖关系（关联规则挖掘）。为此，经常采用空间索引等数据库技术。这些模式随后可以用于进一步的分析，或例如，在机器学习和预测分析中，作为传入数据的摘要。决策支持系统可以使用识别出的数据类别，例如在数据挖掘过程中，来产生更准确的预测。

数据收集、数据准备以及信息和结果的解释都是 KDD 过程整体的一部分，而不是数据挖掘阶段的一部分。

“数据收集”、“数据钓鱼”和“数据监视”等词描述了使用数据挖掘技术对较大、现有总体数据集中的区域进行抽样，这些区域（或可能）太小而无法对所发现的任何模式的有效性做出统计结论。可以使用这些技术来开发针对更大数据集进行检验的新假设。

数据挖掘的优点

• 营销/零售

直接营销人员可以通过提供关于目标受众购买习惯的准确且有用的趋势来从数据挖掘中受益。这些趋势使营销人员能够更精确地针对其目标市场进行营销活动。对于有长期购买软件记录的消费者，软件公司可以通过营销推广其新产品。

此外，数据挖掘还可以帮助营销人员预测他们的目标客户可能感兴趣购买的产品。通过这种预测，营销人员可以给消费者带来惊喜并改善购物体验。数据挖掘技术也对零售业有利。例如，商店管理可以根据数据挖掘支持的模式来组合货架和特定库存商品，或提供价格，以吸引顾客。

• 银行/信贷

金融公司可以在信贷文件和贷款记录等领域从数据挖掘中受益。例如，银行可以通过评估具有相似特征的过往客户来确定每笔特定贷款的风险程度。数据挖掘还可以帮助信用卡发行商提醒客户注意可能发生的欺诈性信用卡交易。尽管数据挖掘技术仅有时能 100% 准确地预测欺诈性收费，但信用卡发行商可以减少损失。

• 制造业

制造商可以通过对运营工程数据进行数据挖掘来识别有缺陷的设备并建立最佳控制参数。例如，半导体制造商面临着一个困境，因为即使在不同晶圆生产设施的生产环境中，晶圆的质量通常也相同，有些甚至由于未知原因而存在缺陷。数据挖掘已被用于识别导致制造出优质晶圆的控制参数范围。然后使用这些理想的控制设置来生产所需的等级的晶圆。

• 客户识别

市场上的每个消费者都有其独特的方面。他们的基本行为和特征各不相同。因此，使用正确的方法更容易理解他们的偏好。通过数据挖掘，企业可以更好地识别他们的客户，从而增加他们购买产品的可能性。

• 侦测犯罪活动

政府和其他机构可以使用市场分析数据来识别罪犯。例如，可以组织数据，使其更容易分析客户的过往交易。因此，它可以快速揭示任何欺诈活动。

• 业务管理

数据挖掘过程带来了新的商业机会。数据挖掘可以与所有产品一起使用，以采取合适的公司战略。例如，将合适的产品交付给客户有助于确保产品销售。此外，数据挖掘信息将使组织能够使用各种营销策略。

• 营销策略

企业可以使用数据挖掘方法构建数据模型。他们可以利用这些模型快速确定哪些人会对其产品感兴趣。因此，公司可以确保他们推出的产品将盈利。因此，无论推出什么新产品，都将有助于公司利润的增长。

• 刑事司法

通过发现位置、犯罪类型、习惯和其他行为模式的模式，数据挖掘可以帮助执法部门定位和逮捕犯罪分子。

数据挖掘的缺点

• 隐私问题

企业通过各种方式收集客户数据，以了解其购买习惯的趋势。特别是现在互联网上充斥着社交网络、电子商务、论坛和博客，人们对个人隐私的担忧越来越严重。人们担心他们的个人信息会被不道德地收集和使用，这可能导致他们因隐私问题陷入很多麻烦。然而，企业并非永恒存在；有时，它们可能会被另一家公司收购或完全倒闭。此时，它们很可能出售或泄露它们拥有的个人信息。

• 安全隐患

安全是一个主要问题。企业拥有社会安全号码、生日、薪资信息以及客户和员工的其他详细信息。但这些信息受到多大程度的保护仍有待确定。许多大型企业，如福特汽车信贷公司和索尼影视公司，都曾遭受黑客入侵并窃取大量消费者数据。由于大量财务和个人信息可用，信用卡被盗，身份盗用成为一个重大问题。

• 被滥用或不准确的信息

数据挖掘技术可能被不当使用以收集用于不道德目的的信息。不道德的个人或组织可以利用这些信息为自己谋利，歧视特定人群或欺凌弱小。数据挖掘的另一个缺点是其不完美的准确性。如果使用不准确的信息来做决策，将产生重大影响。

• 昂贵

数据挖掘是一个特别昂贵的过程。例如，企业需要雇用更多员工和技术专家来确保数据挖掘得到正确执行。许多企业都需要先进的数据挖掘软件，但可能价格昂贵。由于需要产生更有用的见解，大多数小型企业的数据挖掘成本往往高于其节省的成本。

• 技术知识

根据使用方式的不同，有各种各样的挖掘工具可供选择。它们都有独特而设计的算法。只有具备必要的技术知识才能选择合适的工具。因此，必须派遣一名合格的专家来处理工具的选择。

• 精度

尽管数据挖掘通过其技术为简单的数据收集创建了一个框架，但其准确性仍然受到限制。通过获取的错误信息可能会使决策变得复杂。

• 数据挖掘需要大型数据库

虽然数据挖掘是营销人员工具库中最有效的工具之一，但它也有其挑战。其中一个缺点是，数据挖掘需要大型数据集才能有效。例如，如果电子邮件列表只有 100 位订阅者，那么数据挖掘将需要比这些电子邮件更多的数据。另一方面，如果列表中有 100,000 人，那么将有更多信息可用，数据挖掘也将更成功。

• 数据挖掘方法并不完美

数据挖掘并不总是能产生准确的信息。有多种分析数据的方法，其中一些比其他方法更准确。例如，预测模型依赖于发现特定数据模式的期望。当只有部分事实支持预测时，这可能导致对预测准确性的高估。当数据库中存在必须考虑才能产生准确分析的缺失数据时，会出现另一个问题。

结论

通过数据挖掘从大量信息集合中挖掘模式。欺诈减少和组织效率提高只是数据挖掘的两个好处。它之所以重要，是因为它使用户能够以新的方式检查数据或发掘他们未曾意识到的趋势。数据挖掘也可能存在缺点，例如数据错误或有偏见以及虚假见解。