视觉和音频数据挖掘

数据挖掘是一个与海量数据进行交互的过程。从这个角度来看，它能从未知结构化数据中揭示有趣的模式。这同样适用于音频和视频数据挖掘。如今，用户可以访问来自信息技术产生的海量多媒体数据，以及多媒体系统的易于获取性。因此，今天可用的音频和视频数据量呈指数级增长。视频属于多媒体范畴，其中包含文本、图像、视觉、音频和元数据等各种数据。

音频视频挖掘在安全与监控、医学发现、教育、娱乐和体育等不同应用领域占有重要地位。视频数据挖掘的关键目标是从视频源中提取数据，并发现和定义模式和动态。

什么是视觉数据挖掘？

视觉数据挖掘利用数据和知识可视化方法，从海量数据集中发现隐含的、有益的知识。眼睛和大脑协同工作，人类视觉系统，后者可以被看作是一个动态的、高度并行的处理和推理引擎，包含一个庞大的知识库。

视觉数据挖掘本质上结合了这些组件的力量，使其成为理解数据分布、模式、聚类和异常值的极具吸引力和有效的工具。

视觉数据挖掘可以被认为是数据可视化和数据挖掘两个学科的结合。它还可以与计算机图形学、多媒体系统、人机交互、模式识别和高性能计算相关联。总的来说，数据可视化和数据挖掘可以整合到以下几种方式：

1. 数据可视化：数据库或数据仓库中的数据可以在不同粒度或抽象级别上查看，或者作为不同属性或维度的组合进行查看。数据可以用各种视觉形式呈现，包括箱线图、3D立方体、数据分布图、曲线、曲面、链接图等。视觉显示可以帮助用户对大型数据集中的数据特征有一个清晰的印象和概览。
2. 数据挖掘结果可视化：数据挖掘结果的可视化是将数据挖掘获得的结果或知识以视觉形式呈现。这些形式可能包括散点图和箱线图、决策树、关联规则、聚类、异常值、广义规则等。
3. 数据挖掘过程可视化：这种可视化以视觉形式呈现数据挖掘的各种过程，使用户能够看到数据是如何提取的，从哪个数据库或数据仓库中提取的，以及选定的数据是如何被清洗、集成、预处理和挖掘的。此外，它还可能显示选择了哪种数据挖掘方法，结果存储在哪里，以及如何查看它们。
4. 交互式视觉数据挖掘：在交互式视觉数据挖掘中，可视化工具可以在数据挖掘过程中使用，以帮助用户做出明智的数据挖掘决策。例如，可以使用彩色扇区（其中一个圆代表整个空间）来显示一组属性中的数据分布。这种显示有助于用户确定哪个扇区应该首先用于分类，以及该扇区的良好分割点可能在哪里。

视觉数据挖掘技术

为了使数据挖掘有效，将人类纳入数据探索过程很重要，并结合人类的灵活性、创造力和通用知识与当今计算机巨大的存储容量和计算能力。首先，数据分析师通常指定一些参数来限制搜索空间；算法自动执行数据挖掘。最后，自动数据挖掘算法发现的模式显示在屏幕上供数据分析师查看。由于自动数据挖掘算法会生成大量文本形式的模式，人类几乎不可能详细解释和评估这些模式，并提取有趣的知识和通用特征。

视觉数据挖掘旨在将人类融入数据挖掘过程，并利用人类的感知能力来分析当今计算机系统中可用的海量数据集。以交互式图形形式呈现数据通常可以促进新的见解，鼓励形成和验证新的假设，以实现更好的问题解决和获得更深的领域知识。

视觉数据探索通常遵循一个三步过程：概览、缩放和过滤，然后是按需获取详细信息。首先，数据分析师需要获得数据的概览。在概览中，数据分析师识别数据中有趣的模式或组，并专注于其中一个或多个。为了分析模式，数据分析师需要钻取并访问数据的详细信息。可视化技术可以用于数据探索过程的所有三个步骤。

可视化技术对于显示数据的概览很有用，它允许数据分析师识别有趣的数据子集。这一步很重要，可以保持概览可视化，同时使用另一种可视化技术专注于子集。这可以通过为有趣的子集分配更大的显示比例，同时减少对不有趣数据的屏幕利用率来实现。要进一步探索有趣的数据子集，数据分析师需要钻取功能来观察数据的详细信息。

请注意，可视化技术为所有三个步骤提供了基础可视化技术，并弥合了这些步骤之间的差距。视觉数据挖掘可以看作是一个假设生成过程；数据的可视化使数据分析师能够深入了解数据并提出新假设。

可以通过数据可视化来验证假设，也可以通过统计学、模式识别或机器学习的自动技术来完成。因此，视觉数据挖掘通常可以实现更快的数据探索，并且通常能提供更好的结果，尤其是在自动数据挖掘算法失败的情况下。此外，视觉数据探索技术使用户在探索结果方面拥有更高的满意度和信心。这一事实导致了对视觉探索技术的高需求，并使其与自动探索技术不可或缺。

视觉数据挖掘方法

视觉数据挖掘基于自动部分（数据挖掘算法）和交互部分（可视化技术）。有三种常见的方法可以将人类纳入数据探索过程，以实现不同的视觉数据挖掘方法。

• 先验可视化 (PV)：在运行数据挖掘算法之前，以某种视觉形式可视化数据。通过与原始数据的交互，数据分析师可以完全控制搜索空间中的分析。通过探索数据来发现有趣的模式。
• 后验可视化 (SV)：自动数据挖掘算法通过从给定数据集中提取模式来执行任务。这些模式被可视化，以便数据分析师能够理解它们。后验可视化使数据分析师能够指定反馈。基于可视化，数据分析师可能希望返回到数据挖掘算法，并使用不同的输入参数来获得更好的结果。
• 紧密集成的可视化 (TIV)：自动数据挖掘算法分析数据，但不产生最终结果。可视化技术用于呈现数据探索过程的中间结果。然后，数据分析师根据其领域知识，通过可视化中间结果来识别有趣的模式。结合一些自动数据挖掘算法和可视化技术，可以为下一次数据挖掘运行提供用户指定的反馈。
  这种方法的一个动机是实现数据挖掘算法与应用程序的独立性。给定的自动数据挖掘算法在一个领域中可能非常有用，但在其他领域可能存在缺点。由于没有一种自动数据挖掘算法适合所有应用领域，因此紧密集成的可视化可以更好地理解数据和提取的模式。

优点

除了直接的人类参与，以下是视觉数据探索相对于自动数据挖掘技术的主要优势：

• 视觉数据探索可以轻松处理高度非同质和嘈杂的数据。
• 视觉数据探索是直观的，不需要理解复杂的数学或统计算法或参数。
• 可视化可以提供数据的定性概览，从而可以分离出数据现象以进行进一步的定量分析。
• 视觉数据挖掘技术已被证明在探索性数据分析中非常有价值，并具有探索大型数据库的巨大潜力。视觉数据探索尤其有用，当对数据了解甚少且探索目标模糊时。由于数据分析师直接参与探索过程，因此可以自动根据需要调整探索目标。

什么是音频数据挖掘？

音频数据挖掘使用音频信号来指示数据模式或数据挖掘结果的特征。虽然视觉数据挖掘可以使用图形显示来揭示有趣的模式，但它要求用户专注于观看模式并识别其中的有趣或新颖的特征。这有时会非常累人。

如果模式可以转化为声音和音乐，我们可以通过音高、节奏、旋律和乐音来识别，而不是通过观看图像来识别有趣或不寻常的东西。这可以减轻一些视觉专注的负担，并且比视觉挖掘更轻松。因此，音频数据挖掘是视觉挖掘的一个有趣的补充。

音频和视频挖掘的应用

在这里，我们将讨论音频和视频数据挖掘在商业中的不同用例，例如：

1. 交通控制管理

无论是交通控制还是交通违规监控，视频数据挖掘或分析都可以用于在交通管理方面做出更好的决策，实时视频流从安装在交通岗亭上的摄像头中提取。这些实时输入被添加到数据库系统中进行处理。根据从视频中提取的可用数据，交通控制系统将控制连接到系统的设备。如果检测到道路上的任何可疑情况，例如超速驾驶员或不法活动，系统将通过分析仪表板向系统管理员发出警报。路上的其他进展报告也会被监控并通过单独的数据库发送。

2. 车辆监控程序

可以通过视频数据挖掘进行视频处理，以控制不同繁忙区域的各种公共车辆或交通工具。基于人工智能的视频处理是监控车辆的有用工具之一。

车辆交通部门可以使用基于视频的车辆监控系统。该系统用于监控高速公路上的交通流量，以确定车辆的确切速度和行驶时间以及准确的通行费。闭路电视摄像头提供运动车辆的图像，这些图像由视频图像处理器进行分析。由图像序列工具检测到的车辆是外部通信输出。

3. 通过实时视频流增强安全性

提高人们的安全和保障是监控的首要目标。主要目标是跟踪行为、活动和其他数据以确保安全。嵌入了监控功能的视频处理系统对于监控和安全至关重要。

通过访问控制，它与视频处理监控协同工作，并通过实时视频流提供有关进入场所的人员的有用信息。利用基于人工智能的面部识别技术，它为人员分配唯一的标识符，使他们能够以授权级别的访问进入场所的任何区域。

4. 健康状况监测

嵌入闭路电视视频流的监控器也有助于检测医院中患者的健康状况。捕捉婴儿视频流的摄像头非常适合使用欧拉视频放大和光流算法检测婴儿的呼吸问题。从摄像机提取的信息稍后可用于为疾病提供更好的治疗方案。

5. 掌握客户人口统计数据

语音识别技术广泛用于提取数据以发现客户的人口统计信息。该技术利用对您的音频/视频资源的广泛数据挖掘过程，并识别有关客户的各种信息。它包括性别、年龄、情绪和情感、语言等等。

6. 音频/视频数据自动转录

小型企业可以从音频/视频数据挖掘中受益，它可以帮助转录从视频和音频中提取的各种非结构化数据。这会将音频/视频源中的准确文本转换为文本，使企业能够找到相关信息以提高生产力和效率。同时，整个过程有助于自动化许多活动，例如投诉分析、人口统计分析、法律合规性等。

7. 准确理解客户意见。

您的客户意见至关重要，因为它们决定了您业务的成败。使用涉及语音识别的人工智能数据挖掘过程可以帮助您准确解释客户对您的产品和服务的确切含义。在大多数情况下，它会对录制的电话进行广泛的数据挖掘。这为您制定更好的客户支持策略和独特的客户体验提供了更多机会。