人工智能中的符号推理

许多对深度学习感到不满的人转向人工智能的其他领域，希望找到更好的未来。符号推理就是其中一个领域。

深度学习的两个主要缺点是它无法理解模型（即，为什么我的模型生成了那个预测？）以及深度神经网络学习所需的大量数据。数据是神经网络渴望的东西。

连 Geoffrey Hinton 都对深度神经网络的支柱——反向传播——是否会成为人工智能未来的方向表示怀疑。

深度符号学习，或允许深度神经网络操作、生成并与以字符为单位的概念共存，可以帮助解决可解释性问题，因为毕竟，人类是通过符号和标志进行交流的，而这正是我们对机器的要求。对所谓“一次性学习”的研究可能有助于解决深度学习对数据的饥渴。IBM、DeepMind 和 MIT 的最新研究已经证明了将符号推理与深度神经网络等连接主义方法相结合的有效性。

标记、符号、能指和所指

正如“以此玫瑰为我尊重的信物”一样，sign 和 symbol 这两个词源自拉丁语和希腊语，分别表示标记或信物。“代表某物”或“象征某物”是这些词的含义。

另一个事物可能是一个有形物品、一个概念、一个场合——你命名它。就我们而言，标记或符号是一个指向其他对象并具有意义的视觉模式，例如一个字符或一串字符。诸如“玫瑰”一词，它指向茎刺末端层层堆叠成紧密螺旋状的深红色卷曲花瓣，或者变量 x，它指向一个未知数量，都可能是罪魁祸首。

就像手指指向月亮一样，能指指向所指。符号允许带宽有限的大型灵长类动物人类通过压缩感官输入来进行交流。如果你愿意，它们是必需的，以克服吞吐量的生物瓶颈。由于计算机也有类似的瓶颈，因此其设计者使用了与人类非常相似的技巧，例如符号，来克服处理、存储和输入/输出的限制。我们数字化和处理我们模拟世界的方式可以随着计算机能力的提升而发展，最终使我们能够处理十亿参数的张量，而不是七个字符的字符串。

从另一个意义上讲，符号促进了知识在一个人一生中的转移——不是从一个人到另一个人，而是从一种情况到另一种情况。换句话说，符号提供了一个高于我们感官体验的具体和详细元素的抽象程度，使我们能够在一种情况下学到的知识应用到另一种可能遇到的情况中。符号是一种在没有明显奖励的情况下，将在一情境中学到的奖励信号转移到另一情境中的方法，因为现实世界的奖励信号很少且难以与其原因联系起来（你可能不快乐的某些原因可能与你多年前采取的行动有关——你能猜出是哪些吗？）。在某种意义上，每一个抽象类别，如“椅子”，都在所有被称为“椅子”的离散对象之间断言了一个类比，并且我们借助符号将关于一把椅子的知识转移到另一把椅子上。

可以称表达它们相互关系的符号组合为推理，而当我们人类将一串标记连接起来表达思想时，就像我现在这样，你可能称之为符号操作。有时，这些符号关系是必然的、演绎的，就像纯数学的公式或你可能从如下古老的罗马格言推理得出的结论一样。

有时，正如“婴儿似乎更喜欢豌豆味糊糊（所以为了上帝的缘故，我们一定要在冰箱里放一些）”或 E = mc²，符号传达了我们从对外部世界的观察中推断出的教训。

符号人工智能

从战后时期到 20 世纪 80 年代末，符号人工智能——也称为“好的，老式人工智能”或 GOFAI——主导了 AI 社区。

规则引擎、专家系统和知识 图 是符号推理实现的例子。其中一个运行时间较长的例子是 Cyc。 Google 也创造了一个重要的系统，当你搜索一些简单的东西（如德国的首都）时，它会在你查询的下方框中显示信息。本质上，这些系统是一系列嵌套的 if-then 语句，它们对实体（人类可访问的概念）及其关系（例如 X 是一个人或 X 住在阿卡普尔科）进行推理，这些实体和关系都以语义上易于理解的术语陈述。

考虑一下 Turbotax 如何能够代表美国税法；你输入你的收入、你的受抚养人数量和其他详细信息，它就会计算出你依法需要缴纳的税款。这是一个专家系统的例子。

系统程序员和创建者输入了外部想法，这比它看起来更重要。

学习发生在机器 学习 和传统符号推理之间的主要区别之一。当算法在输入和输出之间建立关联时，它在机器学习和深度学习中学习规则。人类干预创造了符号思维的规则。换句话说，为了构建一个符号推理系统，人类必须首先获得连接两个事件的原则，然后将这些连接硬编码到一个静态程序中。关于这种区别，有一个著名的黑客寓言。

先入为主的观念是硬编码的规则。虽然深度神经网络架构包含了其他假设，主要是关于它们应该如何学习而不是应该得出什么结论，但这是其中一种假设，而且是一种强大的假设。不言而喻，最好的假设是那些能够使系统适应性学习并生成精确输入判断的假设。

符号 AI (GOFAI) 的问题

更新编码在规则引擎中的信念的挑战是符号 AI 或 GOFAI 面临的主要障碍之一。专家系统是单调的，这意味着新规则不能撤销先前学到的信息；相反，添加的规则越多，系统中编码的知识就越多。本质上，单调意味着单向，即当一个东西上升时，另一个也上升。机器学习算法在记录初步信息方面做得更好，如果需要，这些信息以后可以被撤回；也就是说，如果它们需要学习任何新东西，例如数据是非平稳的时候。这是因为机器学习算法可以对新数据进行再训练，并根据这些新数据调整其参数。

计算机本身不知道符号的含义——也就是说，它们并不总是与其他非符号化的世界表示形式相关联——这是符号推理中的第二个弱点。另一方面，神经网络能够将符号连接到数据的向量化表示，而这些向量化表示只是未处理的感官输入的翻译。在考虑 GOFAI 和神经网络时，主要困难是如何固定符号，或将它们连接到其他类型的含义，以便计算机可以将世界不断变化的、未处理的感知转化为符号，然后使用这些符号进行推理。

那么，似乎有必要问：符号是为谁准备的？它们对机器有什么用处吗？如果符号使人类能够根据基本的生理限制进行交流和修改信息，那么为什么机器要使用符号呢？为什么机器不直接使用向量或一些海豚吱吱叫和传真机的语言进行交流呢？让我们大胆猜测一下：当机器开始有意义地相互交流时，它们将使用一种人类无法理解的语言。很可能，对于带宽巨大的设备来说，词语的带宽太低了。也许它们需要额外的维度才能清楚地解释自己。机器已经绕过了语言，而语言实际上是一扇门上的钥匙孔。6. 自然语言最多可能是一个 AI 向人类提供的 API，以便人类可以跟随它的脚步；最坏的情况下，它可能成为对机器智能本质的一种干扰。然而，由于自然语言是我们展示智能的方式，我们将其误认为是成功的顶峰。

将符号推理与深度神经网络相结合

我们如何将抽象和高阶概念——这有助于压缩数据并以新颖的方式混合数据——与深度神经网络从头开始学习概率连接的能力相结合？我们如何培养赋予概念新含义以及使用原子概念作为更复杂和可分解思想（如语言）的构建块的能力，而语言使我们能够以其固有的灵活性进行交流？

通过结合深度神经网络、深度强化学习和符号推理，可以解决推理、层次表示、迁移学习、在对抗性情况下的鲁棒性以及可解释性（或解释能力）等基本问题。

监督学习：一种基础的混合 AI

让我们检查它们当前和潜在的重叠之处。首先，至少在基本意义上，通过 监督 学习形成的每个深度神经网络都结合了 深度学习 和符号操作。因为知识通过符号推理以符号和字符字符串的形式进行编码。这些字符字符串在监督学习中被称为标签，它们充当统计模型对输入数据进行分类的类别。分类器的输出（假设我们正在使用图像识别算法来确定我们看到的是一辆行驶中的卡车、一个行人、一个停车标志或一条车道线）可以触发业务逻辑，对每个分类进行响应。一种符号思维就是业务逻辑。