AI 中的语言智能

引言

你有没有想过 ChatGPT 等应用程序是如何工作的？当然，你可能只会简单地回答：“GPT 的名字就说明了一切。”但它背后的概念是什么，它是如何迎合如此庞大的受众的？这是为了尝试将“语言智能”注入到人工智能 (AI) 中而做出的尝试。语言学是对语言及其组成部分的研究。这可以解释为人类使用语言的能力，通过语言，一个人将尝试理解上下文。它深入探讨了语言智能如何在当今 AI 系统中找到自己的出路。

AI 和语言学的支柱——自然语言处理

语言学和 AI 往往齐头并进，首先是由于 自然语言处理。通常称为 NLP，它成为 AI 进一步理解语言和文本的基础，利用上下文线索将其处理为有意义的输出。NLP 通过解释、生成和理解人类语言来帮助模仿人类对语言学的理解。

这进一步表明，深度学习技术将有助于对数据执行结构化处理。NLP 的工作不仅是提供原始或现成的材料，它甚至可以将情感和情绪附加到文本上，从而赋予内容人类也试图灌输到词语中的一些光彩。

使用 BERT 进一步了解语言学

BERT 代表 来自 Transformer 的双向编码器表示，是 Google 发布的支持机器语言理解的 NLP 模型。这改变了 AI 模型在特定上下文（即 Google 搜索结果）中被主流数据使用的方式。该模型的建立简单地在给定单词的内容中双向扫描，因此 BERT 中的 B。

BERT 的架构基于 Transformer，这也是 Google 作为他们非常著名的论文提出的，该论文在 AI 领域带来了突破性的创新——“Attention Is All You Need”。主要组件是作为 Transformer 层的编码器和双向的上下文部分。

尽管我们知道 BERT 是我们今天可以使用的预训练模型，但最初的训练分为两个步骤：预训练和后训练（称为微调）。在预训练期间，涉及两个模型——掩码语言模型（MLM）和下一句预测（NSP）。这两个模型都涉及无监督（意味着模型的输出未知，应通过数据模式预测）训练，其中 MLM 预测随机掩码的单词（在预训练阶段称为标记），NSP 有助于预测句子的序列（不带语法或停用词）。

微调阶段涉及评估从预训练阶段获得的结果并对其进行优化以实现最大准确性。微调阶段还为与 NLP 相关的特定应用程序添加了额外的训练层。突出的例子包括情感分析、命名实体识别（NER）和问答模型。

BERT 的其他著名应用包括文本摘要、语义搜索、释义检测等，这些应用最近也越来越受欢迎。然而，BERT 在提供类人文本外观方面表现不佳，并被 GPT（3 及以上）和 Claude 等模型超越。尽管如此，正是 BERT 使语言材料和内容发生了巨大的转变，使其成为一个巨大的火炬手。

AI 模型如何学习这些？

语言学通过语法、语义、语用以及语篇分析等多个语言分支，为 AI 模型提供了语言细微差别的基础。模型可以更深入地理解人与人之间的互动方式。所有这些分支在教导模型成功地在现实世界中进行交互方面都发挥着至关重要的作用。

语法

语法是管理句子构成的规则。这意味着单词被放置在正确的位置以构成语法正确的句子。AI 模型需要知道句子的不同部分是如何相互关联的。例如，“The person missed picking up the car”和“The car missed picking up the person”是句法和语义理解的问题。语法还使模型能够处理诸如疑问句或被动语态等变体，这使它们能够以不止一种形式提供语法正确的回答。

语义

语法主要是形式，而语义则关注意义。它们需要知道单词的含义以及它们的含义如何随上下文而变化。例如，“trap”是一个双关语。它可以指一个人打算被困住或阻塞的东西，也可以指你肩膀上的肌肉。丰富的语义理解有助于模型消除含义不同单词的歧义，从而完全理解比喻性语言。例如，隐喻和习语。

语用学

语用学不仅仅是词语的字面意义；它更是说话者的意图。在日常对话中，人们会使用间接言语、反讽或礼貌。经过语用学原理训练的 AI 模型可以假设意图并根据上下文更新它们的回答。语用学理解对于客户支持或虚拟助手等应用程序非常重要，因为它区分了有用和无用的回答，这取决于对用户意图的有效解读。

语篇分析

语篇分析是句子和短语如何在更大的语境中（例如对话或长篇论文）连接起来。它使 AI 模型能够理解思想如何在多个词语中流动，并在多轮对话中连贯地做出回应。例如，他谈论一辆新车并与另一个人讨论，然后。最后，另一个人只是说：“它花了多少钱？”。在这里，任务是将代词“it”映射到汽车的语境中。这种能力在长时间交流中保持一致和相关关系方面发挥着非常重要的作用。

应用

AI 中有许多与语言学相关的应用。一些常见的应用如下：

聊天机器人和助手

Siri、Alexa 和 Google Assistant 等虚拟助手利用语言智能理解用户的问题，并找到适当的数据以自然语言进行回答。这些系统通过 NLU 方法促进人机交互。

情感分析模型

这会自动将文本分类为包含积极、消极或中立的态度。语言信息丰富的人工智能系统可以分析消费者评价以及其他社交媒体帖子或其他文本数据，以推断公众舆论、有规律的情绪和客户反馈。

文本生成与摘要

人工智能驱动的内容生成技术中的语言智能会自动生成文章、报告和其他文本材料。此类系统在利用输入数据时使文本生成变得更容易，这使得内容创建过程相对更容易，并且在相同的过程中实际的手工工作量更低。

语言翻译

通过语言智能，语言翻译系统确保即使在将文本从一种语言翻译成另一种语言时，它们也能保持上下文和意义。目前，深度学习和神经网络正在推动机器翻译模型，以在多种语言之间创建出色的翻译。

观察到的挑战

然而，一些挑战依然存在，其中一些是当前 AI 问题的共同挑战。语言学领域的一些挑战如下：

语境与歧义

AI 必须处理词义和歧义。人类使用习语、讽刺和文化指代，而机器会误解。例如，AI 会将“break a leg”（祝好运）理解为真的去折断腿。为此，需要在语境建模和文化训练方面进行重大改进。

多语言和跨文化限制

尽管人工智能在处理多语言方面取得了显著进展，但它绝不能非常生动地解释资源匮乏的语言。这将阻碍其在全球范围内的影响力和平等性。文化细节使这项工作更加复杂，因为人工智能需要掌握特定区域特有的各种词语、句子和语法模式。

伦理考量

语言处理 AI 系统中的伦理问题可能会因为其训练数据而放大其中的社会偏见。例如，有偏见的数据集可能会产生维护刻板印象的歧视性句子。公司和学者正在通过偏见检查和开发多样化数据集来应对这些问题。

未来前景

这种对任何语言阅读和输出技能增长的推动是由于 AI 系统。零样本学习、少样本学习等创新以及通常构建不需要大量数据的模型的策略与为不常用语言开发模型的目标一致。

人工智能的未来将通过为每个人提供独特的体验而出现。语言模型将根据用户与语气、措辞选择甚至文化的具体互动而开发；因此，人工智能结果也将变得更加相关和准确。

随着人工智能驱动工具的出现，语言教学的面貌将发生改变。这些技术提供个性化的反馈和适应性任务，为学习者创造有趣的体验。这些改进将提高流利度，并扩大语言学习的覆盖面，惠及更多人群。

结论

最后，语言学在人工智能中的应用是一个日益发展且最近加速的领域。像 ChatGPT 这样非常流行的应用程序涉及语言和语言学概念。因此，了解其工作原理和原因非常重要。此类应用程序基于自然语言处理（NLP）的基本框架工作，该框架基本上模拟了人类语言学习和语言学的根源。这就是为什么你可以从 ChatGPT 这样的应用程序中获得类似人类的内容。

但 Google 的 BERT 是第一个使语言学在 AI 中普及的模型。它是一种基于特定词语双向扫描内容的模型。除此之外，AI 可以通过四个支柱学习语言的细微差别：语法、语用学、语义学和语篇分析。它涵盖了从聊天机器人到语言翻译的各种应用。然而，AI 系统的一般问题将在不久的将来得到解决甚至超越。语言学和 AI 之间的进步还有很长的路要走，因为人类依赖于便利。