数据挖掘 - 万维网

在过去的几年里，万维网已经成为一个重要的信息来源，同时也是一个流行的商业平台。Web挖掘可以定义为利用数据挖掘技术和算法直接从Web中提取有用信息的方法，例如Web文档和服务、超链接、Web内容和服务器日志。万维网包含大量数据，为数据挖掘提供了丰富的资源。Web挖掘的目标是通过收集和检查数据来发现Web数据中的模式，以获取洞察力。

什么是Web挖掘？

Web挖掘可以广泛地看作是将改编后的数据挖掘技术应用于Web，而数据挖掘则定义为将算法应用于发现主要嵌入在知识发现过程中的结构化数据上的模式。Web挖掘具有提供一组各种数据类型的独特属性。Web具有多个方面，为挖掘过程带来了不同的方法，例如网页由文本组成，网页通过超链接链接，用户活动可以通过Web服务器日志进行监控。这三个特征导致了Web内容挖掘、Web结构挖掘、Web使用挖掘这三个领域之间的区别。

数据挖掘有三种类型

1. Web内容挖掘

Web内容挖掘可用于从网页内容中提取有用的数据、信息和知识。在Web内容挖掘中，每个网页都被视为一个独立的文档。个人可以利用网页的半结构化特性，因为HTML不仅提供有关布局的信息，还提供逻辑结构。内容挖掘的主要任务是数据提取，即从非结构化网站中提取结构化数据。目的是通过使用提取的结构化数据来促进跨各种网站的数据聚合。Web内容挖掘可用于区分Web上的主题。例如，如果任何用户在搜索引擎上搜索特定任务，用户将获得建议列表。

2. Web结构挖掘

Web结构挖掘可用于查找超链接的链接结构。它用于识别链接网页或直接链接网络的数据。在Web结构挖掘中，个人将Web视为一个有向图，网页是与超链接关联的顶点。这方面最重要的应用是Google搜索引擎，它主要使用PageRank算法来估计其结果的排名。它将一个页面描述为当其他高度相关页面频繁链接时异常相关。结构和内容挖掘方法通常结合使用。例如，Web结构挖掘对组织来说可能有助于规范两个商业网站之间的网络。

3. Web使用挖掘

Web使用挖掘用于从Web日志记录中提取有用的数据、信息和知识，并协助识别Web页面的用户访问模式。在挖掘Web资源的使用时，个人正在考虑网站访问者的请求记录，这些记录通常作为Web服务器日志收集。虽然Web页面集合的内容和结构遵循页面作者的意图，但个人请求演示了消费者如何看待这些页面。Web使用挖掘可能会揭示页面创建者未曾预料到的关系。

下面给出了一些识别和分析Web使用模式的方法

I. 会话和访客分析

预处理数据的分析可以在会话分析中完成，其中包括访客记录、天数、时间、会话等。这些数据可用于分析访客行为。

此分析后创建的文档包含重复访问的网页、常见入口和出口的详细信息。

II. OLAP（在线分析处理）

OLAP对高级数据进行多维分析。

OLAP可以在特定时期内对日志相关数据的各个部分进行分析。

OLAP工具可用于推断重要的商业智能指标

Web挖掘面临的挑战

Web基于以下观察对资源和知识发现提出了巨大的挑战

• 网页的复杂性

网站页面没有统一的结构。与传统文本文档相比，它们极其复杂。Web的数字图书馆中有大量的文档。这些图书馆没有按特定顺序组织。

• Web是一个动态数据源

互联网上的数据更新迅速。例如，新闻、气候、购物、财经新闻、体育等等。

• 客户端网络的多样性

Web上的客户端网络正在迅速扩张。这些客户端具有不同的兴趣、背景和使用目的。有超过一亿台工作站连接到互联网，并且仍在大幅增加。

• 数据的相关性

人们认为特定的人通常只关心Web的一小部分，而Web的其余部分包含用户不熟悉的数据，并可能导致不必要的结果。

• Web太宽泛了

Web的规模巨大且迅速增长。Web似乎对数据仓库和数据挖掘来说太大了。

挖掘Web的链接结构以识别权威网页

Web由页面以及从一个页面指向另一个页面的超链接组成。当Web页面创建者创建指向另一个Web页面的超链接时，这可以被视为创建者对该页面的授权。Web上各种创建者对给定页面的统一授权可能表明该页面的重要性，并可能自然地引导发现权威网页。Web链接数据提供了有关Web内容的相关性、质量和结构的丰富数据，因此是Web挖掘的丰富来源。

Web挖掘的应用

由于Web的各种用途，Web挖掘具有广泛的应用。下面列出了一些Web挖掘的应用。

• 营销和转化工具
• 网站和应用程序成就的数据分析。
• 受众行为分析
• 广告和营销活动成就分析。
• 网站测试和分析。