关联记忆网络

联想记忆网络是指内容寻址存储结构，它将一组输入模式和输出模式之间的关系关联起来。内容寻址存储结构是一种内存结构，它能够基于输入模式和内存中存储的模式之间的相似强度来回忆数据。

让我们用一个例子来理解这个概念

下图说明了一个包含各种人名的记忆。如果给定的记忆是内容可寻址的，那么不正确的字符串 "Albert Einstein" 作为键就足以恢复正确的名称 "Albert Einstein"。

在这种情况下，由于这种类型的记忆模型，以及某种形式的纠错能力，这种类型的记忆是稳健且容错的。

注意：联想记忆是通过其内容获得的，与传统计算机内存系统中的显式地址相邻。该记忆能够基于对其内容的不完整知识来回忆信息。

联想记忆有两种类型——自联想记忆和异联想记忆。

自联想记忆

自联想记忆会恢复先前存储的模式，该模式与当前模式最相关。它也称为自联想相关器。

考虑x[1], x[2], x[3],….. x[M]，是存储的模式向量的数量，并让x[m]成为这些向量的元素，显示从模式获得的特征。自联想记忆将在放入 x[m] 的噪声或不完整版本时产生模式向量x[m]。

异联想记忆

在异联想记忆中，恢复的模式通常与输入模式不同，不仅在类型和格式上，而且在内容上也不同。它也称为异联想相关器。

假设我们有许多键响应对{a(1), x(1)}, {a(2),x(2)},…..,{a(M), x(M)}。当给出 a(m) 的噪声或不完整版本时，异联想记忆将给出模式向量 x(m)。

神经网络通常用于实现这些称为神经联想记忆 (NAM) 的联想记忆模型。线性联想器是最简单的人工神经联想记忆。

这些模型遵循不同的神经网络架构来记忆数据。

联想记忆的工作原理

联想记忆是某种形式的关联模式的存储库。如果存储库被某个模式触发，则关联的模式对会出现在输出端。输入可以是存储模式的精确或部分表示。

如果记忆是用输入模式产生的，可以说 α,，则关联的模式 ω 会自动恢复。

这些是与联想记忆网络相关的术语

编码或记忆

编码或记忆是指构建联想记忆。它意味着构建一个关联权重矩阵 w，这样当给出输入模式时，与输入模式连接的存储模式会被恢复。

(W_ij)_k = (p_i)_k (q_j)_k

其中，

(P_i)_k 表示模式 p_k 的第 i^个分量，以及

(q_j)_k 表示模式 q_k 的第 j^个分量

其中，

strong>i = 1,2, …,m 且 j = 1,2,…,n。

构建关联权重矩阵 w 是通过添加单个相关矩阵 w_k 来完成的，即，

其中 α = 构建常数。

错误和噪声

输入模式可能包含错误和噪声，或者可能包含先前编码的模式的不完整版本。如果出现损坏的输入模式，网络将恢复与实际输入模式相邻的存储模式。噪声或错误的存在只会导致效率的绝对降低，而不是网络的完全降解。因此，由于许多处理单元执行高度并行和分布式计算，联想记忆是稳健且无错误的。

性能指标

为联想记忆性能采取的正确恢复措施是记忆容量和内容可寻址性。记忆容量可以定义为可以存储和正确恢复的最大关联模式对数。内容可寻址性是指网络恢复正确存储模式的能力。

如果输入模式彼此正交，则可以实现完美恢复。如果存储的输入模式不是彼此正交的，则由于模式之间的交叉可能会发生非完美恢复。

联想记忆模型

线性联想器是最简单且应用最广泛的联想记忆模型。它是简单处理单元的集合，具有相当复杂的集体计算能力和行为。 Hopfield 模型计算其输出，该输出会及时返回，直到系统变得稳定。 Hopfield 网络使用双极单元和一个学习过程构建。 Hopfield 模型是 John Hopfield 在 1982 年提出的自联想记忆。 双向联想记忆 (BAM) 和 Hopfield 模型是其他一些流行的用作联想记忆的人工神经网络模型。

联想记忆模型的网络架构

神经联想记忆模型采用各种神经网络架构来记忆数据。该网络包含单层或两层。线性联想器模型是指前馈型网络，由不同处理单元的两层组成——第一层用作输入层，而另一层用作输出层。 Hopfield 模型是指处理元素的单层，其中每个单元都与给定网络中的每个其他单元相关联。 双向联想记忆 (BAM) 模型与线性联想器相同，但关联是双向的。

描绘了这些给定模型的神经网络架构以及联想记忆的相应关联权重矩阵 w 的结构。

线性联想器模型（两层）

线性联想器模型是前馈型网络，其中生成的输出采用单次前馈计算的形式。该模型由两层处理单元组成，一层用作输入层，另一层用作输出层。输入通过一系列权重直接与输出相关联。携带权重的连接将每个输入链接到每个输出。在每个神经元节点中确定权重和输入的乘积之和。线性联想器的架构如下所示。

所有 p 个输入单元都通过关联权重矩阵与所有 q 个输出单元关联

W = [w_ij]p * q 其中 w_ij 描述了 i^th 输入单元到 j^th 输出单元的单向关联强度。

连接权重矩阵存储 z 个不同的关联模式对 {(X_k,Y_k); k= 1,2,3,…,z}。构建联想记忆是构建连接权重矩阵 w，这样如果出现输入模式，则会恢复与输入模式关联的存储模式。