什么是多媒体数据挖掘？

多媒体挖掘是数据挖掘的一个子领域，用于从多媒体数据库中发现隐藏的有趣信息。多媒体挖掘通常被称为自动注释或注释挖掘。多媒体数据挖掘需要两种或多种数据类型，例如文本和视频，或文本、视频和音频。

多媒体数据挖掘是一个跨学科领域，它整合了图像处理与理解、计算机视觉、数据挖掘和模式识别。多媒体数据挖掘可以从存储和管理大量多媒体对象（包括图像数据、视频数据、音频数据、序列数据以及包含文本、文本标记和链接的超文本数据）的多媒体数据库中发现有趣的模式。多媒体数据挖掘中的问题包括基于内容的检索和相似性搜索、泛化和多维分析。多媒体数据立方体包含用于多媒体信息的附加维度和度量。

管理以不同方式存储、交付和使用不同类型多媒体数据的框架称为多媒体数据库管理系统。多媒体数据库有三类：静态、动态和维度媒体。多媒体数据库管理系统的内容如下：

• 媒体数据：表示对象的实际数据。
• 媒体格式数据：有关媒体数据格式的信息，例如采样率、分辨率、编码方案等，这些是在经过采集、处理和编码阶段后获得的信息。
• 媒体关键词数据：与数据生成相关的关键词描述。也称为内容描述数据。例如：录制的日期、时间、地点。
• 媒体特征数据：与内容相关的数据，例如颜色分布、纹理种类以及数据中存在的不同形状。

多媒体应用程序类型

基于数据管理特性的多媒体应用程序类型如下：

1. 存储库应用程序：存储大量多媒体数据和元数据（媒体格式日期、媒体关键词数据、媒体特征数据）以供检索，例如：卫星图像存储库、工程图纸、放射学扫描图像。
2. 演示应用程序：它们涉及在满足时间约束的条件下交付多媒体数据。为了获得最佳的观看或收听效果，DBMS 需要以一定的速率交付数据，并在某个阈值之上提供服务质量。在这里，数据在交付时被处理。例如：视频和音频数据的注释、实时编辑分析。
3. 使用多媒体信息的协作工作涉及通过合并图纸和更改通知来执行复杂任务。例如：智能医疗网络。

多媒体数据库面临的挑战

多媒体数据库仍面临许多挑战，例如：

1. 建模：该领域的工作可以改进数据库与信息检索技术；因此，文档构成了一个专门的领域，值得特别关注。
2. 设计：多媒体数据库的概念、逻辑和物理设计尚未完全解决，因为每个级别的性能和调优问题都远比处理各种格式（如 JPEG、GIF、PNG、MPEG）复杂，这些格式不容易相互转换。
3. 存储：在任何标准磁盘上存储多媒体数据库都存在表示、压缩、映射到设备层次结构、归档以及输入-输出操作期间的缓冲等问题。在 DBMS 中，BLOB（二进制大型对象）功能允许存储和检索无类型位图。
4. 性能：物理限制主导着涉及视频播放或音视频同步的应用程序。并行处理的使用可以缓解一些问题，但此类技术尚未完全开发。除此之外，多媒体数据库会消耗大量的处理时间和带宽。
5. 查询和检索：对于图像、视频和音频等多媒体数据，通过查询访问数据会带来许多问题，例如高效的查询制定、查询执行和优化，这些都需要进一步研究。

多媒体数据库的应用领域

以下是多媒体数据库的应用领域：

• 文档和记录管理：行业和企业保留详细的记录和各种文件。例如，保险索赔记录。
• 知识传播：多媒体数据库是知识传播的有效工具，因为它提供了多种资源。例如，电子书。
• 教育和培训：计算机辅助学习材料可以使用多媒体资源进行设计，这些资源如今是流行的学习来源。例如：数字图书馆。
• 旅行：营销、广告、零售、娱乐和旅游。例如，虚拟城市之旅。
• 实时控制和监控：借助主动数据库技术，多媒体信息演示可以有效地监控和控制复杂任务。例如，制造操作控制。

多媒体数据挖掘的类别

多媒体挖掘是指分析大量多媒体信息以根据其统计关系提取模式。多媒体数据挖掘分为两大类：静态媒体和动态媒体。静态媒体包含文本（数字图书馆、创建 SMS 和 MMS）和图像（照片和医学图像）。动态媒体包含音频（音乐和 MP3 声音）和视频（电影）。下图显示了多媒体数据挖掘的类别。

1. 文本挖掘

文本是信息有效交流的最主要通用媒介。文本挖掘评估大量的自然语言文本，并检测精确的模式以找到有用的信息。文本挖掘，也称为文本数据挖掘，用于从各种来源的非结构化文本中查找有意义的信息。

2. 图像挖掘

图像挖掘系统可以从大量图像中发现有意义的信息或图像模式。图像挖掘确定如何处理原始图像或图像序列的低级像素表示，以识别高级空间对象和关系。它包括数字图像处理、图像理解、数据库、人工智能等。

3. 视频挖掘

视频挖掘用于从大量视频数据中发现有趣的模式；多媒体数据是视频数据，如文本、图像、元数据、视觉和音频。它通常用于安全和监控、娱乐、医学、体育和教育节目。处理内容包括索引、自动分割、基于内容的检索、分类和触发器检测。

4. 音频挖掘

音频挖掘在多媒体应用中起着重要作用，它是一种通过小波变换自动搜索、分析和处理音频信号内容的技术。它通常用于自动语音识别，在这种技术中，分析工作致力于在音频中查找任何语音。频带能量、频率质心、零交叉率、音高周期和带宽通常用于音频处理。

多媒体挖掘的应用

多媒体数据挖掘有多种应用，其中一些如下：

• 数字图书馆：数字图书馆存储和维护数字数据集合，将各种数字数据格式转换为文本、图像、视频、音频等至关重要。
• 交通视频序列：为了从交通视频序列中确定重要但先前未识别的知识，需要根据车辆识别、交通流量以及交叉路口车辆的时间关系进行详细分析和挖掘。这为常规交通监控流程提供了一种经济高效的方法。
• 医学分析：多媒体挖掘主要用于医学领域，尤其用于分析医学图像。各种数据挖掘技术用于图像分类。例如，自动 3D 分割高度侵袭性脑肿瘤，自动定位和识别 3D CT 扫描、MRI 扫描、ECG 和 X 射线中的椎骨。
• 客户感知：它包含关于客户意见、产品或服务、客户投诉、客户偏好以及客户对产品或服务满意度水平的详细信息，这些信息被收集在一起。音频数据充当主题检测、资源分配和评估服务质量的依据。许多公司设有呼叫中心，接收客户的电话。
• 媒体制作和广播：广播公司，如电台和电视台，可以通过多媒体挖掘来监控其内容，以寻找更有效的方法并提高其质量。
• 监控系统：它包括收集、分析、总结特定区域的音频、视频或视听信息，例如政府组织、跨国公司、购物中心、银行、森林、农业区和高速公路等。该技术主要用于安全领域；因此，军事、警察和提供安全服务的私营公司都可以利用它。

多媒体数据挖掘过程

下图显示了当前架构，其中包括多媒体挖掘过程的类型。数据收集是学习系统的初始阶段；预处理旨在从原始数据中提取重要特征。它包括数据清理、转换、归一化、特征提取等。如果可以在预处理阶段识别出信息丰富的类型，则学习可以直接进行。整个过程高度依赖于原始数据的性质和复杂领域。预处理的产物是训练集。必须为指定的训练集选择一个学习模型，以便从训练集中学习并使多媒体模型更加稳定。

将非结构化数据转换为结构化数据：数据驻留在记录或文件中的固定字段中，称为结构化数据，这些数据以顺序形式存储。结构化数据易于输入、存储、查询和分析。非结构化数据是位流，例如，图像的像素表示、音频、视频以及文本的字符表示。这些文件可能具有内部结构，但仍被视为“非结构化”，因为它们的数据不能很好地放入数据库中。例如，不同对象的图像和视频具有一些相似之处——每个都代表对一个建筑物的解释，但没有清晰的结构。

当前的数据挖掘工具操作的是结构化数据，这些数据存在于大量关系数据库中，而多媒体数据库中的数据是半结构化或非结构化的。因此，将半结构化或非结构化的多媒体数据转换为结构化数据，然后使用现有的数据挖掘工具来提取知识。非结构化数据和结构化数据挖掘之间的序列或时间元素是不同的。将非结构化数据转换为结构化数据并用于从非结构化数据库中提取信息的架构如上图所示。然后将数据挖掘工具应用于存储的结构化数据库。

多媒体数据挖掘架构

多媒体挖掘架构如下图所示。该架构有几个组件。重要组件包括输入、多媒体内容、时空分割、特征提取、查找相似模式和结果评估。

1. 输入阶段包括用于查找模式和执行数据挖掘的多媒体数据库。
2. 多媒体内容是数据选择阶段，要求用户选择用于数据挖掘的数据库、字段子集或数据。
3. 时空分割是指视频中移动的物体，对于物体分割很有用。
4. 特征提取是预处理步骤，涉及整合来自各种来源的数据，并就表征或编码特定数据字段做出选择，以便作为模式查找阶段的输入。需要这种选择的表示，因为某些字段可能包含不同级别的数据，并且不被考虑用于查找相似模式阶段。在 MDM 中，预处理阶段很重要，因为多媒体记录的非结构化性质。
5. 查找相似模式阶段是整个数据挖掘过程的核心。在此阶段，基本上揭示了数据中隐藏的模式和趋势。查找相似模式阶段的一些方法包括关联、分类、聚类、回归、时间序列分析和可视化。
6. 结果评估是用于评估结果的数据挖掘过程，这对于确定是否需要重新访问先前阶段很重要。此阶段包括报告和使用提取的知识来产生新的操作、产品、服务或营销策略。

多媒体挖掘模型

用于执行多媒体数据挖掘的模型非常重要。通常使用四种不同的多媒体挖掘模型：分类、关联规则、聚类和统计建模。

1. 分类：分类是一种多媒体数据分析技术，可以从指定多媒体集合的每个属性中学习。它被分为预定义的类标签以达到分类的目的。分类是通过输入训练数据集并基于其余属性构建类属性模型，将数据构建成类别以实现更有效和高效的使用。决策树分类具有直观的性质，用户可以在不损失精确性的情况下理解其概念模型。隐马尔可夫模型用于对图像和视频等游戏进行室内/室外分类。
2. 关联规则：关联规则是数据挖掘最重要的技术之一，有助于在大型数据库中查找数据项之间的关系。多媒体挖掘中有两种类型的关联：图像内容和非图像内容特征。在不同图像之间挖掘频繁出现的模式，相当于在交易集合中挖掘重复出现的模式。多关系关联规则挖掘显示了同一图像的多个报告。在图像分类中，也使用了多级关联规则技术。
3. 聚类：聚类分析将数据对象划分为多个组或簇。聚类分析根据其组来组合所有对象。在多媒体挖掘中，聚类技术可用于对相似的图像、对象、声音、视频和文本进行分组。聚类算法可分为多种方法：层次方法、基于密度的方法、基于网格的方法、基于模型的方法、k-means 算法和基于图的模型。
4. 统计建模：统计挖掘模型用于规范测试参数的统计有效性，并用于检验假设、进行相关性研究以及转换和处理数据以进行进一步分析。这用于建立词语与划分的图像区域之间的联系，形成一个简单的共现模型。

多媒体挖掘中的问题

多媒体数据挖掘中的主要问题包括基于内容的检索、相似性搜索、维度分析、分类、预测分析和挖掘多媒体数据中的关联。

1. 基于内容的检索和相似性搜索

多媒体中的基于内容的检索是一个令人兴奋的问题，因为多媒体数据需要从像素值进行详细分析。我们考虑了两种主要的 the multimedia retrieval systems，即多媒体数据中的相似性搜索。

• 基于描述的检索系统基于图像描述（如关键词、标题、大小和创建时间）创建索引和对象检索。
• 基于内容的检索系统支持图像内容检索，例如颜色直方图、纹理、形状、对象和小波变换。
• 基于内容的检索系统用途：视觉特征索引图像并基于特征相似性促进对象检索；在各种应用中都非常需要。这些应用包括诊断、天气预测、电视制作以及用于图片的互联网搜索引擎和电子商务。

2. 多维分析

为了对大型多媒体数据库进行多维分析，可以设计和构建多媒体数据立方体，类似于从关系数据构建的传统数据立方体。多媒体数据立方体具有多个维度。例如，图像或视频的大小（以字节为单位）；帧的宽度和高度，创建两个维度；创建或最后修改图像或视频的日期；图像或视频的格式类型；帧序列持续时间（以秒为单位）；引用图像或视频的页面的 Internet 域；诸如颜色维度和边缘方向维度之类的关键字。多媒体数据立方体可以具有用于多媒体数据的附加维度和度量，例如颜色、纹理和形状。

多媒体数据挖掘系统原型是 MultiMediaMiner，它是 DBMiner 系统的扩展，可以处理多媒体数据。MultiMediaMiner 的 Image Excavator 组件使用图像上下文信息（如网页上的 HTML 标签）来派生关键词。通过导航在线目录结构（如 Yahoo! 目录），可以构建映射到图像所在目录的关键词层次结构。

3. 分类和预测分析

分类和预测分析已用于挖掘多媒体数据，特别是在天文学、地震学和地球科学分析等科学分析中。决策树分类是报告的图像数据挖掘应用的_重要方法。例如，考虑天文学家小心分类为训练集的_天空图像。它可以创建模型，根据星等、面积、强度、图像矩和方向等属性来识别星系、恒星和_恒星天体。

图像数据挖掘的分类和聚类与图像分析和科学数据挖掘密切相关。图像数据通常量很大，需要大量的处理能力，例如并行和分布式处理。因此，许多图像分析技术和科学数据分析方法可以应用于图像数据挖掘。

4. 挖掘多媒体中的关联

涉及多媒体对象的_数据关联规则已在图像和视频数据库中进行了挖掘。可以观察到三类：

• 图像内容与非图像内容特征之间的关联
• 不涉及空间关系的图像内容之间的关联
• 涉及空间关系的图像内容之间的关联

首先，一张图像包含多个对象，每个对象都有各种特征，如颜色、形状、纹理、关键词和空间位置，因此可以做出许多可能的关联。其次，包含多个重复对象的图像在图像分析中很重要。在关联分析中不应忽略相似对象的重复性。第三，找到空间关系与多媒体图像之间的关联可用于发现对象关联和相关性。通过多媒体对象之间的关联，我们可以将每张图像视为一个事务，并找到不同图像之间频繁出现的模式。