社交媒体数据挖掘方法

将数据挖掘技术应用于社交媒体相对较新，与其他与社交网络分析相关的研究领域相比。当我们承认社交媒体网络分析的研究可以追溯到 20 世纪 30 年代。已经有工业界和学术界开发的利用数据挖掘技术的应用程序正在商业上使用。例如，一家“社交媒体分析”公司向我们提供服务，跟踪社交媒体，为客户提供有关商品和服务如何在社交媒体网络中被识别和讨论的数据。该组织的分析师们已经将文本挖掘算法应用于博客，并检测传播模型，以创建理解数据如何通过博客圈传播的技术。

数据挖掘技术可以应用于社交媒体网站，以便更好地理解信息，并利用数据进行分析、研究和商业用途。代表性领域包括社区或群组检测、数据传播、受众传播、主题检测和跟踪、个人行为分析、群体行为分析以及为组织进行市场研究。

数据表示

与所有其他社交媒体数据一样，通常采用图表示来研究社交媒体数据集。图由顶点（节点）和边（链接）组成。用户通常显示为图中的节点。个人（节点）之间的关系或关联显示为图中的链接。

图形表示在从社交网络站点提取信息时很常见，在这些站点中，人们与朋友、家人和商业伙伴互动。它有助于创建朋友、家人或商业伙伴的社交网络。不太明显的是图结构如何应用于博客、维基、意见挖掘和类似的在线社交媒体平台。

如果我们考虑博客，一个图表示博客作为节点，可以被视为“博客网络”；另一个图描述将博客帖子作为节点，可以被视为“帖子网络”。当一个博客帖子引用另一个博客帖子时，会在博客帖子网络中创建边。用于表示博客网络的其他技术同时考虑个人、关系、内容和时间——称为 Internet 在线分析处理 (iOLAP)。维基可以被视为从描绘作者作为节点的角度来看，当作者贡献某个对象时，会创建边。

图形表示允许应用经典的数学图论、分析社交媒体平台的传统技术以及处理图数据挖掘。用于描绘社交媒体平台的图可能规模巨大，这在自动化处理方面会遇到困难，因为它限制了计算机内存。在试图处理海量社交媒体数据集时，处理速度会最大化，通常也会超出预期。实现自动化程序以允许社交媒体数据挖掘的其他挑战包括识别和处理垃圾邮件、同一子类别社交媒体中使用的格式多样性，以及不断变化的内​​容和结构。

数据挖掘——一个过程

无论研究何种社交媒体，一些基本要素对于获得最有意义的结果至关重要。每种社交媒体和应用于社交媒体的每种数据挖掘目的都可能涉及独特的方法和算法，以从数据挖掘中获益。不同的数据集和数据问题需要不同类型的工具。如果知道如何组织数据，分类工具可能很合适。如果我们了解数据的内容，但无法确定数据中的趋势和模式，那么使用聚类工具可能是最好的。

问题本身可以决定最佳方法。在应用数据挖掘技术之前，没有其他方法可以尽可能多地理解数据，以及理解各种可用的数据挖掘工具。可能需要主题分析师来帮助更好地理解数据集。为了更好地理解数据挖掘的各种可用工具，有大量的关于数据挖掘和机器学习的文本和其他资源可供使用，以支持有关各种特定数据挖掘技术和算法的更准确信息。

一旦您了解了问题并选择了合适的数据挖掘方法，请考虑需要进行的任何预处理。可能还需要一个系统化的流程来开发一套足够的数据集，以允许合理的处理时间。预处理应包括合适的隐私保护机制。尽管社交媒体平台包含大量公开可用的数据，但重要的是要保证个人权利，并保护社交媒体平台版权。应考虑垃圾邮件的影响以及时间表示。

除了预处理，还需要考虑时间的影响。根据查询和研究的不同，我们可能会在不同时间获得不同的结果，尽管时间段对于特定领域是可用的考虑因素。例如，主题检测、影响力传播和网络发展，时间对网络识别、群体行为和营销的影响不太明显。在某个时间点定义的一个网络可能在另一个时间点大不相同。群体行为和兴趣会随着时间的推移而改变，今天提供给个人或群体的产品可能明天就不再流行了。

当数据表示为图时，任务始于选定数量的节点，称为种子。图被遍历，从种子的排列开始，并利用种子节点的链接结构，收集数据，并审查结构本身。利用链接结构从种子集扩展并收集新信息被称为网络爬取。执行的应用程序和算法应该能够有效地应对强大的社交媒体平台中存在的挑战，例如受限站点、格式更改和结构错误（无效链接）。当爬虫找到新数据时，它会将新数据存储在存储库中以供进一步分析。当找到链接数据时，爬虫会更新关于网络结构的数据。

像 Facebook、Twitter 和 Technorati 这样的社交媒体平台提供应用程序编程接口 (API)，允许爬虫应用程序直接与数据源交互。但是，这些平台通常会限制每天的 API 交易次数，具体取决于 API 用户与平台的关联。对于某些平台，无需使用 API 即可收集数据（爬取）。考虑到可用的社交媒体平台数据量巨大，可能需要限制爬虫收集的数据量。当爬虫收集完数据后，可能需要进行一些后处理来验证和清理数据。可以应用传统的社交媒体平台分析方法，**例如**，中心性测量和群体结构研究。在许多情况下，其他数据将与节点或链接相关联，为更复杂的方法打开机会，以考虑通过文本和数据挖掘技术可以暴露的更深入的语义。

现在，我们将重点关注两个特定的社交媒体平台数据，以进一步说明数据挖掘技术如何应用于社交媒体网站。这两个主要领域是社交媒体平台和博客，它们是强大的、丰富的数据源，可以描绘这两个领域。这两个领域都为更广泛的科学网络以及商业组织提供了潜在价值。

社交媒体平台：示例

Facebook 或 LinkedIn 等社交媒体平台由具有独特个人资料的连接用户组成。用户可以与他们的朋友和家人互动，还可以分享新闻、照片、故事、视频、喜欢的链接等。用户可以选择根据个人偏好定制他们的个人资料，但一些常见数据可能包括感情状况、生日、电子邮件地址和家乡。用户可以选择他们在个人资料中包含多少数据以及谁可以访问它。通过社交媒体平台可访问的数据量引发了安全担忧，这是一个相关的社会问题。

此处，图说明了典型的社交媒体平台的假设图结构图，箭头指向图的更大一部分。

在处理社交媒体平台数据时，保护个人身份非常重要。最近的报告强调了保护隐私的必要性，因为已经证明，即使是对此类数据进行匿名化，在使用高级数据分析策略时仍然可以揭示个人数据。安全设置也可能限制数据挖掘应用程序考虑社交媒体平台上每条数据。然而，可以使用一些恶意技术来绕过安全设置。