自适应共振理论

17 Mar 2025 | 6 分钟阅读

自适应共振理论 (ART) 被纳入为人类认知数据处理的假设。 这一假设促进了用于模式识别和无监督学习的神经模型。 ART系统已被用于解释不同类型的认知和大脑数据。

自适应共振理论解决了系统的稳定性-可塑性(稳定性可以定义为记忆学习的性质,而可塑性是指它们能够灵活地获取新信息)困境,该系统询问了如何响应大量输入模式进行学习,同时又不失去无关模式的稳定性。 除此之外,稳定性-弹性困境关注的是系统如何在保留先前学习内容的同时适应新数据。 对于这样的任务,在 ART 神经网络层中包括一个反馈机制。 在这个神经网络中,以处理元素输出形式的数据会在层之间反映和向前。 如果建立了适当的模式,则会达到共振,然后在该期间可能发生适应。

它可以定义为如何克服竞争学习模型实现的学习不稳定性,这导致提出了一个扩展假设,称为自适应共振理论(ART)的正式分析。 这项正式调查表明,特定类型的自上而下学习的反馈和匹配机制可以显着克服不稳定性问题。 据了解,自上而下的注意力机制,先前已通过对认知和强化机制之间联系的调查而发现,具有与这些代码稳定机制相似的特征。 换句话说,一旦人们意识到如何从形式上解决不稳定性问题,也很肯定人们不需要为此开发任何数量上的新机制。 人们只需要确保整合先前发现的注意力机制即可。 这些额外的机制使代码学习能够响应本质上任意的输入系统而自我稳定。 Grossberg 提出了自适应共振理论的基本原理。 Carpenter 和 Grossberg 将 ART 的一个类别(称为 ART1)描述为常微分方程的排列。 这些定理可以预测搜索的顺序以及系统的学习历史和输入模式的功能。

ART1 是一种无监督学习模型,主要用于识别二进制模式。 它包括一个注意力子系统、一个定向子系统、一个警惕性参数和一个复位模块,如下图所示。 警惕性参数对系统有很大的影响。 高警惕性会产生更详细的记忆。 ART1 注意力由两个竞争网络、比较场层 L1 和识别场层 L2、两个控制增益、Gain1 和 Gain2 以及两个短期记忆 (STM) 阶段 S1 和 S2 组成。 长期记忆 (LTM) 发生在 S1 和 S2 的某个范围内,会乘以这些路径中的信号。

Adaptive Resonance Theory

增益控制使 L1 和 L2 能够识别运行周期的当前阶段。 当自下而上和自上而下的信号在 L1 处发生不匹配时,STM 复位波会阻止活动的 L2 单元。 比较层获取二进制外部输入,将其传递到负责将其与分类类别协调的识别层。 该结果返回到比较层,以找出类别何时与输入向量匹配。 如果匹配,则读取新的输入向量,并且循环再次开始。 如果出现不匹配,则定向系统负责阻止先前类别在识别层中获得新的类别匹配。 这两个增益分别控制识别层和比较层的活动。 复位波会特别持久地阻止活动的 L2 单元,直到当前停止。 输入模式的偏移结束了其处理 L1 并触发了 Gain2 的偏移。 Gain2 偏移会导致 L2 处的 STM 持续衰减,从而准备 L2 编码下一个输入模式,而不会产生偏见。

Adaptive Resonance Theory

ART1 实现过程

ART1 是一种自组织神经网络,具有通过自下而上和自上而下的自适应权重相互耦合的输入和输出神经元,从而执行识别。 为了开始我们的方法,首先根据自适应共振理论训练系统,方法是将参考模式数据以 5*5 矩阵的形式输入到神经元中,以便在输出神经元中进行聚类。 接下来,定义 L2 中的最大节点数,然后定义警惕性参数。 输入的模式本身在 L1 的节点场上注册为短期记忆活动。 将 L1 到编码场 L2 的路径组合和分离,每个路径都由自适应的长期记忆轨迹加权,转换为净信号向量 T。L2 处的内部竞争动力学进一步转换 T,从而创建压缩代码或内容可寻址内存。 通过激烈的竞争,激活集中在获得最大 L1 → L2 信号的 L2 节点上。 这项工作的主要目标分为四个阶段,如下所示:比较、识别、搜索和学习。

自适应学习理论 (ART) 的优势

它可以与其他技术协调并使用,以给出更精确的结果。

它不能保证在形成集群方面的稳定性。

它可以用于不同的领域,例如人脸识别、嵌入式系统和机器人技术、目标识别、医学诊断、签名验证等。

它显示出稳定性,并且不受提供给输入的大量输入的影响。

它在竞争性学习方面具有优势。 竞争性学习在必要时无法包括新的集群。

ART 的应用

ART 代表自适应共振理论。 用于快速、稳定学习和预测的 ART 神经网络已应用于不同领域。 该应用包括目标识别、人脸识别、医学诊断、签名验证、移动控制机器人。

Adaptive Resonance Theory

目标识别

模糊 ARTMAP 神经网络可用于根据其雷达范围轮廓自动分类目标。 对合成数据的测试表明,与 k 最近邻 (kNN) 分类器相关,模糊 ARTMAP 可以显着节省内存需求。 多波长轮廓的使用主要提高了这两种分类器的性能。

医学诊断

医学数据库呈现出在一般信息管理设置中发现的大量挑战,其中速度、使用、效率和准确性是主要关注点。 改进计算机辅助医学的直接目标是帮助在可能不太理想的情况下提供重症监护。 处理这些问题刺激了几个 ART 架构的发展,包括 ARTMAP-IC。

签名验证

自动签名验证是一个众所周知且活跃的研究领域,具有各种应用,例如银行支票确认、ATM 访问等。 使用 ART1 完成网络的训练,该网络使用全局特征作为输入向量,验证和识别阶段使用一个两步过程。 在第一步中,输入向量与用作训练集的存储参考向量进行协调,在第二步中,进行集群形成。

移动控制机器人

如今,我们感知到各种各样的机器人设备。 在其程序部分(称为人工智能)中,它仍然是一个研究领域。 人脑是此类智能系统模型的有趣主题。 受人脑结构的启发,出现了一个人工神经网络。 与大脑类似,人工神经网络包含许多简单的计算单元,即相互连接的神经元,以允许信号从神经元传递到神经元。 与其他决策算法相比,人工神经网络用于解决不同问题,并取得了良好的结果。

ART 的局限性

某些 ART 网络是矛盾的,因为它们依赖于训练数据的顺序或学习率。


下一个主题构建块