人工神经网络的历史

可以说，神经网络的历史始于19 世纪末，当时科学家们致力于研究人脑的活动。在1890 年，William James 发表了第一篇关于大脑活动模式的研究。在1943 年，McCulloch 和 Pitts 创建了一个神经元模型，该模型至今仍被用于人工神经网络。该模型分为两部分

• 对加权输入求和。
• 总和的输出函数。

人工神经网络 (ANN)

在1949 年，Donald Hebb 发表了“行为的组织，” 其中说明了突触神经元学习的定律。该定律后来以 Donald Hebb 的名字命名为Hebbian 学习，是人工神经网络最简单直接的学习规则之一。

在1951 年，Narvin Minsky 在普林斯顿工作时制作了第一个人工神经网络 (ANN)。

在1958 年，出版了“计算机和大脑”，Jhon von Neumann 去世一年后。在那本书中，von Neumann 提出了许多关于分析师如何建模大脑的重大变化。

感知器

感知器于1958 年由Frank Rosenblatt 在康奈尔大学创建。感知器旨在利用神经网络程序进行字符识别。感知器是一个线性系统，对于解决输入类别在输入空间中线性可分离的问题很有价值。在1960 年，Rosenblatt 出版了神经动力学原理一书，其中包含了他的一些研究和关于大脑建模的想法。

尽管感知器和人工神经网络研究取得了早期的成就，但许多人认为这些方法存在有限的保证。其中包括 Marvin Minsky 和 Seymour Papert，他们的 1969 年著作感知器被用来诋毁 ANN 研究，并将注意力集中在 ANN 工作的明显局限性上。 Minsky 和 Papert 强调的限制之一是，感知器无法区分在输入空间中线性不可分离的模式，这是一个线性分类问题。尽管感知器未能处理非线性可分离数据，但这并非技术的固有失败，而是一个规模问题。 Hecht-Nielsen 在1990 年展示了一个两层感知器（Mark），它是一个能够解决非线性分离问题的三层机器。感知器引入了所谓的“安静的岁月”，当时 ANN 研究的兴趣降到了最低。

反向传播算法最初于1974 年由 Werbos 发现，并于1986 年通过 Rumelhart、Hinton 和 Williams 的著作“通过误差传播学习内部表示”重新被发现。反向传播是一种梯度下降算法，与人工神经网络一起用于减少和曲线拟合。

在1987 年，IEEE 年度国际 ANN 会议开始为 ANN 科学家举行。在1987 年，成立了国际神经网络学会 (INNS)，以及 INNS 神经网络期刊于1988 年出版。