无监督人工神经网络算法和技术

无监督 ANNs 中使用的技术和算法包括自组织映射、受限玻尔兹曼机、自编码器等。

自组织映射

自组织映射是一种基本的人工神经网络，其增长取决于无监督学习程序和对数据之间相似性的利用。自组织映射在生物学上受到自组织其神经元的拓扑计算图的启发。这种动机源于不同输入在人脑中组织成拓扑图的方式。与监督式 ANN 不同，自组织映射由输入和输出神经元组成，没有隐藏层，并且以仅能激活其中一个输出神经元的方式开发。

它包含竞争性学习，这是一个所有输出神经元相互竞争的过程。这种竞争的获胜者被激发并被称为获胜神经元。为了搜索具有权重集的输出神经元，这些权重集表征了它们在输入空间中的坐标，一种理解输出神经元之间竞争的方法是计算判别函数的价值，通常是它们与当前样本的组成向量之间的欧几里德距离。从位于格点节点的神经元组中选择神经元，被转化为大量输入模式，组织自身，并在格点结构上形成一个拓扑图。当提供输入信号时，神经元的坐标显示了输入结构中的统计表示。自组织映射，顾名思义，提供了一个拓扑图，该图内部描绘了所提供输入的输入模式中的统计特征。

初始化、竞争、适应和协作是神经元自组织的重要组成部分。在初始阶段，随机选择的小值最初被分配为输出神经元的权重。然后，输出神经元将通过比较判别函数的值来相互竞争。限制判别函数值的输出神经元被选为获胜者，其权重被更新，使其更接近当前观察值。获胜神经元与其邻域（由半径表征）之间存在协作，因为不仅其权重被更新，而且预定义的邻域的权重也被更新，并且获胜神经元对输入向量的更新相对较高。这种协作受到人脑中兴奋神经元组之间侧向连接的启发。

邻近神经元接收到的更新权重是它们之间横向距离和获胜神经元的函数，其中最近和最远的神经元分别接受最高和最低的权重更新。权重被更新用于数据的有效无监督分类。这背后的数据是需要改进与最匹配训练输入的单元之间的相似性。一种无向图形模型，通常称为最佳匹配单元，以及输入邻域中的单元。自组织地图算法中相关的五个阶段是采样、初始化、找到其权重向量最匹配输入向量的神经元、使用给定方程更新获胜神经元及其邻域的权重，并返回采样阶段，直到可以在特征图上实现 ni（输入数量）个过程。Kohonen 网络是一种自组织地图。

∆wji = ŋTj I(X) (t)(xi- wji)

图 1 显示了 Kohonen 网络的特征图。自组织映射人工神经网络通常用于聚类和类似大脑的特征映射。它们适用于探索性数据、统计、生物医学、金融、工业和控制分析等领域。

受限玻尔兹曼机

玻尔兹曼机 (BMs) 已被引入作为双向连接的假设处理单元网络，可以解释为神经网络模型。玻尔兹曼机可用于根据来自该分布的样本来学习未知概率分布的重要方面。通常，这种学习过程既困难又乏味。但是，通过对网络拓扑结构施加限制，可以简化学习问题，这使我们能够获得受限玻尔兹曼机。受限 BM 是一个生成模型，表示一个概率分布。给定几个观察结果（训练数据），学习 BM 意味着更改 BM 参数，以使 BM 表示的概率分布拟合训练数据。玻尔兹曼机由两种类型的单元组成，即可见神经元和隐藏神经元，它们可以排列成两层。可见单元建立主要层，并对应于观察值的组成部分。例如，数字图像的每个像素一个可见单元。在隐藏单元中，模型依赖关系位于观察值的组成部分之间。例如，图像中像素之间的依赖关系。它们可以被视为非线性元素指示器。

玻尔兹曼机也可以被视为特定的图形模型，更准确地说，是无向图形模型，也称为马尔可夫随机场。将 BMs 嵌入到概率图形模型的结构中，可以快速访问大量假设结果和完善的算法。计算无向模型的概率或其用于推理的梯度通常在计算上很全面。因此，基于采样的技术被用来估计概率及其梯度。从无向图形模型中采样通常并不简单，但对于 RBM，马尔可夫链蒙特卡罗 (MCMC) 技术很容易以吉布斯采样的形式应用。

受限玻尔兹曼机 (RBM) 是一个与给定的图中所示的两个无向图相关的马尔可夫随机场 (MRF)。它包括x个可见单元 V = (V1,…, Vx)来显示数据，以及 n 个隐藏单元 H = (H1,…, Hn)来捕获观察到的变量。在二元 RBM 中，我们关注随机变量 (V, H) 取值 (V, H) ∈ {0,1}^x+n，并且在模型下的联合概率分布由吉布斯分布给出 P(V, H) = 1/z ^e-E(v,h)，它具有能量函数。

对于所有 i ∈ {1, ..., n} 和 j ∈ {1, ..., x}, Wij 是一个实数值权重，连接到单元 Vj 和 Hi 之间的边，而 Bj 和 Ci 是连接到 jth 可见变量和 ith 隐藏变量的实数值偏差项。

RBM 的图仅在隐藏变量层和可见变量层之间有关联，但在同一层的两个变量之间没有关联。就概率而言，这意味着在给定可见变量的状态下，隐藏变量是独立的，反之亦然。

自动编码器

自编码器是一种人工神经网络，被准备用来尝试将输入复制到其输出。在内部，它有一个隐藏层，它描绘了一个用于表示输入的代码。

自编码器是具有不对称结构的 ANNs，其中中间层表示输入数据的编码。自编码器准备将其输入重建到输出层上，同时确认某些限制，这些限制阻止它们与网络一起复制数据。尽管术语自编码器如今最受欢迎，但它们也被称为自关联神经网络、双魔网络和复制器神经网络。

自编码器的基本结构在下图中显示。它结合了一个输入 p，该输入通过编码器映射到编码 b，表示为函数 F。此编码通过解码器映射到重建 r，表示为函数 Z。

此结构在前馈神经网络中被捕获。由于目标是在输出层上再现输入数据，因此 p 和 r 都具有相似的维度。p 可以具有更高的维度或更低的维度，具体取决于所需的属性。自编码器也可以根据需要具有各种层，通常对称地放置在编码器和解码器中。这种神经结构可以在下图 3 中看到。