多维尺度分析 (MDS)

多维尺度分析 (MDS) 是一种降维技术，用于将高维记录投影到低维空间，同时尽可能地保留事实点之间的成对距离。MDS 的目标基于距离的概念，旨在以一种减少原始空间与降维空间之间距离差异的方式来保护数据。

MDS 经常用于识别在真实环境中不明显的链接和模式，并可视化高维、复杂的数据。它可以用于各种事实类型，如混合数据、分类数据和数值数据。MDS 是一种数值优化方法，它减少了低维空间和真实空间之间距离的差异。它广泛应用于模式识别、数据挖掘和机器学习等众多领域。这些算法包括模拟退火和梯度下降。

MDS 是一种强大而灵活的方法，可以揭示高维数据中隐藏的相关性和模式，并降低其维度。

多维尺度分析 (MDS) 的特点

MDS 的目标基于距离的概念，旨在通过减少原始空间和低维区域之间距离的差异来保护信息。因此，MDS 能够在保留事实点之间关系的同时，揭示原始空间中未观察到的模式和趋势。

使用 MDS，可以处理各种数据类型，如混合数据、表达数据和数值统计数据。这使得 MDS 成为一种多功能工具，能够处理复杂的多模态数据单元，并处理各种事实类型。

通过最小化原始和低维区域之间距离的差异，MDS 是一种数值优化技术。

剖析多维尺度分析 (MDS) 的数学基础

应力函数 (stress function)，它计算原始空间和低维空间之间距离的差异，构成了多维尺度分析 (MDS) 的数学基础。

多维尺度分析 (MDS) 的缺点

与任何方法一样，在解释和可视化数据时，必须考虑与 MDS 相关的各种规则和缺点。

事实变量之间的距离是描述投影的唯一方法；信息因素之间的相关性和链接不被考虑。这意味着具有缺失或嘈杂距离的数据集，或者具有复杂、非基于距离关系的数据集，可能不适合使用 MDS。

它容易受到数据噪声和异常值的影响，这可能会影响投影的准确性和结果的可解释性。

如果数据包含噪声或异常值，MDS 可能会产生有偏差或具有欺骗性的投影，并且可能无法准确反映数据的底层结构。

由于它是一种全局优化方法，它确定对整个数据集最有利的单一投影。MDS 可能难以捕获每个组内数据的局部结构，这对于具有复杂、多模态结构或多个簇或数据点组的数据集来说可能是一个问题。

多维尺度分析 (MDS) 与其他降维技术相比如何？

MDS 通常与其他降维技术 t-分布随机邻域嵌入 (t-SNE) 进行比较，以了解它与这些技术的区别以及何时可能更适合使用。

MDS 的目标基于距离的概念，旨在通过减少实际区域与低维区域之间距离的差异来保护数据。相比之下，PCA 和 t-SNE 的目标是识别一个数据投影，该投影最大化低维空间中的方差或熵。它们分别基于方差和熵的概念。这表明，虽然 PCA 和 t-SNE 更关注总结数据和识别最重要的维度，但 MDS 更关注维护数据点之间的链接。

另一方面，PCA 和 t-SNE 更适合数值数据，对于混合或分类数据可能效果不佳。这使得 MDS 能够处理复杂的多模态数据集，并增加了其多功能性和灵活性。

为了确定最能保持数据点之间成对距离并最小化应力函数的投影，MDS 采用数值优化程序。相比之下，为了确定最大化低维空间中方差或熵的投影，PCA 和 t-SNE 分别使用随机算法和线性代数。这表明 MDS 是一种更具适应性和通用性的方法，可以识别 t-SNE 或 PCA 的替代投影。

Python 中的多维尺度分析 (MDS)

导入 sklearn. Manifold 和 NumPy.MDS 模块，然后生成 100 个样本和 10 个维度的随机数据。

使用随机启动和两个维度创建一个 MDS 对象。转换数据并将其拟合到 MDS 对象。

打印转换后数据的形状。

输出

(100, 2)

X_transformed 变量的 shape 属性表明数据已成功从 10 维转换为 2 维，该属性被写入控制台，应显示 (100, 2)。

这个示例演示了如何使用 MDS 类在 Python 中对高维数据运行 MDS。MDS 是一种强大而灵活的方法，可用于降低数据维度并发现数据中隐藏的相关性和模式。

多维尺度分析 (MDS) 是一种用于数据和数据可视化技术，用于在低维空间中表示信息因素，并在高维环境中分析它们的相似性或不相似性。最大程度的维度分离 (MDS) 的目标是在低维空间（通常是二维或三维）中找到一个点配置，该配置尽可能地保持原始数据点之间的成对距离或不相似性。

多维尺度分析的几个重要方面如下：

相似性/不相似性矩阵：MDS 过程的第一步，相似性或不相似性矩阵代表了数据点之间的成对连接。可以使用多种来源，包括相关性、替代项和可观察距离来生成此矩阵。

降维：在保持数据点之间连接的同时减少数据维度是 MDS 的基本目标。它将高维信息转换为一个维度较少的空间。

应力函数：MDS 的一个常见用途是优化应力函数，该函数量化了原始数据中的成对距离与降维空间距离之间的差异。通过改变低维空间中点的位置，应力会降低。

MDS 可分为两类：度量 MDS 和非度量 MDS。非度量 MDS 仅保持距离的秩次顺序，或点彼此靠近或远离的顺序，而度量 MDS 则保存数据点之间的实际距离。

应用：MDS 广泛应用于生物学、地理学、心理学和市场营销等多个领域。可用于查看和理解复杂的数据结构，发现隐藏的模式，并使分析更容易。

市场营销（客户偏好分析）、生物学（遗传距离分析）、地理学（地图表示）、心理学（心理量表）和地理学（地理绘图）等众多领域都使用 MDS。

在市场营销中，MDS 可用于了解客户如何看待各种产品的特性和属性。

MDS 类型：Sammon 映射、度量 MDS、非度量 MDS 和经典 MDS 是可用于构建 MDS 的几种不同算法。每种类型都有独特的特性，并能很好地处理不同类型的数据。

当然。现在，让我们研究一下多维尺度分析 (MDS) 的一些最深入的方面。

1. 经典 MDS

经典 MDS 是 MDS 的原始版本，其目标是找到一个低维点配置，该配置最能匹配提供的不相似性或相似性矩阵。

该过程需要平方不相似性矩阵的特征值分解。降维空间中点的坐标由与最大特征值对应的特征向量给出。

2. 度量 MDS

度量 MDS 使用高维空间中数据点之间的实际距离。

它通常涉及最小化应力标准，该标准量化了降维空间中的距离与原始距离的相似程度。

3. 非度量 MDS

这种类型的 MDS 保持距离的秩次顺序不变。当测量尺度不明确或缺乏意义时，它会很有用。

对于非度量 MDS，Kruskal 应力最小化过程是一种常见的算法。

4. 应力和拟合质量

降维空间中的差异与原始差异的匹配程度由应力度量表示。较低的应力值表示更好的拟合。

另一个用于评估 MDS 解决方案整体拟合度的指标是拟合优度 (GoF)。

5. 解释和尺度

在降维空间中，只有点的相对位置是重要的，轴是任意缩放的。

6. Sammon 映射

Sammon 映射是一种最大距离搜索 (MDS) 类型，它侧重于保持点对距离的相对差异。

它使用一个不对称成本函数，该函数优先保持小距离而非大距离。

7. 软件

MDS 实现可在多种统计软件包中获得，包括 R、Python（带有 scikit-learn 等模块）以及 SPSS 等商业产品。

8. 挑战

不相似性度量的选择可能极大地影响结果，并且 MDS 可能对异常值敏感。

大型数据集可能难以处理。

9. 扩展

通过通用 MDS 等技术，MDS 现在可以处理具有缺失值的数据或包含额外约束。

由于它是一种灵活的工具，可以提供有关高维数据结构的有见地的见解，因此多维尺度分析的应用正在跨越广泛的领域。当研究人员不确定区分一个对象与另一个对象的确切特征时，通常会使用 MDS。MDS 的一个优点是它只需要一个对象整体不相似性（或相似性）的度量作为输入。

在多维尺度分析中，“近邻度”(Proximities) 指观察到的项目之间的差异。这些被归类为相似项或差异项。相似项的较高数字表示较近的项目，而差异项则相反。

多维尺度分析旨在利用说明对象之间差异的数据来映射对象的相对位置。Torgerson (1958) 在此方法上进行了开创性的工作。一维尺度是一种浓缩变体。

结论

总之，多维尺度分析 (MDS) 是一种有效的分析方法，用于理解和可视化高维数据的底层结构。通过将复杂关系转换为低维空间同时保持成对距离或相似性，MDS 可以更轻松地探索在先前数据中难以发现的模式和见解。

有多种方法可以实现降维，每种方法都有其优点和用途：经典 MDS、度量 MDS 和非度量 MDS。降维表示必须与原始数据紧密匹配，而优化过程（通常由应力或其他拟合优度指标指导）确保了这一点。

心理学、地理学、市场营销和生物学等众多学科都使用 MDS。它识别链接、揭示数据模式和支持视觉解释的能力使其成为分析师和研究人员的宝贵工具。

然而，用户应该意识到潜在的困难，例如不相似性度量对结果的影响以及对异常值的敏感性。此外，可能需要领域知识来理解降维空间中维度的意义。

即使技术和方法不断发展，多维尺度分析仍然是一种有用且灵活的工具，用于更深入地了解复杂的数据结构并增强我们对各种数据集之间关系的理解。