机器学习必备数学知识 | 机器学习中重要的数学概念

机器学习（Machine Learning, ML）是当前学术界、企业界和学习者中最受欢迎的技术之一，因为它让人们的生活更加便利。从自动驾驶汽车到谷歌助手，它几乎被应用于世界的每个方面。它涉及创建能够自动提取关键数据和趋势的模型。但此时，一个问题出现了：ML的秘密是什么？答案就是数学。设计能够从数据中自动学习并生成预测的ML算法在很大程度上依赖于数学。因此，在深入研究ML算法之前，理解数学至关重要。

对一些人来说，数学一直是一位美妙的伴侣，而对另一些人来说，它却是恐惧或心理障碍的根源。由于他们认为数学中的概念不太重要或与现实问题无关，因此全球许多学生对这门学科缺乏兴趣。然而，随着机器学习的发展，人们越来越有动力去掌握数学，因为它对于创建ML算法至关重要。理解其背后的基本思想也非常有益。在本课程中，我们将学习机器学习中使用的所有关键数学概念。

注意：使用简单的机器学习模型并不需要深入的数学知识；相反，了解数学基础知识足以理解其在ML中的应用。

我为什么要学习机器学习的数学？

热情的学习者们一直在关注数学在机器学习中扮演的角色。鉴于计算机解决数学问题的速度。因此，正确的答案是，掌握机器学习的数学并非为了解决数学问题，而是为了理解数学在ML算法中的应用以及它们是如何工作的。下面的更多细节阐明了数学在机器学习中的重要性。

• 数学阐明了机器学习算法背后的思想，并有助于通过考虑准确性、训练时间、模型复杂度和特征数量来选择最佳算法。
• 计算机对数据的解释方式与人类不同；例如，计算机将图像视为二维或三维矩阵，这需要数学。
• 我们可以使用数学准确地确定范围和不确定性。
• 它有助于选择合适的参数值和验证技术。
• 通过理解偏差-方差权衡，可以识别ML模型的基本问题——欠拟合和过拟合。

机器学习必备数学知识

第二个问题是，在认识到数学的必要性后，需要掌握什么程度的数学以及需要理解哪些概念。我们已经为ML工程师或科学家提供了响应此问题所需的数学基础。除了下面列出的概念外，个人的兴趣和正在研究的领域也会影响其数学水平。

• 线性代数
• 多元微积分
• 概率论
• 离散数学
• 统计量
• 算法与优化
• 其他

下图说明了机器学习中各种数学原理的重要性。根据图表，线性代数是数学中最重要的一部分，因为它在机器学习中被广泛使用。

1. 机器学习中的线性代数

线性代数侧重于向量的研究及其运算原理。机器学习算法的开发经常利用线性代数的概念。它使ML算法能够处理大量数据集。它能够做到以下几点：

• 在ML领域几乎普遍使用。
• 线性代数简化了数据优化。
• 它用于支持向量机分类、奇异值分解（SVD）、协方差矩阵、正则化、损失函数和正则化。
• 此外，它也用于机器学习的线性回归。

主成分分析（PCA）、奇异值分解（SVD）、矩阵的特征分解、LU分解、QR分解/因子分解、对称矩阵、正交化与标准正交化、矩阵运算、投影、特征值与特征向量、向量空间和范数是机器学习中使用的一些线性代数主题。理解这些主题对于理解优化技术是必要的。

除了这些应用之外，线性代数还经常用于数据科学和神经网络。本质上，线性代数为所有机器学习算法展示其输出提供了一个平台或基础。

尽管它是机器学习数学的一个必要组成部分，但要完全理解它并不需要线性代数的知识。这意味着对于机器学习来说，基本理解这些概念就足够了，而不是成为线性代数专家。

2. 机器学习中的微积分

微积分虽然是机器学习的关键组成部分，但只需要对其有初步的了解。多元微积分有助于解决机器学习优化问题。各种机器学习（ML）方法围绕一个目标函数来优化一组所需的模型参数，这些参数决定了模型对数据的描述程度。多元微积分有助于解决ML模型中的优化问题。优化是获得最佳参数的过程。它有助于优化并提高模型的性能。

梯度下降和算法训练都使用多元微积分。必须学习和使用一些关键的多元微积分主题，例如导数、散度、二次方程和曲率。

以下是多元微积分的一些关键领域：

• 偏导数
• 向量值函数
• 方向梯度
• Hessian、Jacobian
• 拉普拉斯和拉格朗日分布。

3. 机器学习中的概率

概率，衡量事件发生的可能性，始终是数学中一个至关重要且迷人的组成部分。事件发生的可能性越大，其概率就越高。此外，ML还有助于估计未来事件的可能性。ML预测和建模项目需要

概率才能正常运行。此外，它还有助于假设检验和概率密度函数、高斯分布等分布。

以下列表包含了一些每个人都应该理解的关键概率原理：

• 联合、边际和条件概率，
• 概率分布（离散、连续），
• 密度估计
• 最大似然估计
• 最大似然回归
• 贝叶斯定理等。

4. 机器学习中的统计学

统计学有助于从提供的数据中得出合理的推论。每个机器学习工程师和科学家都必须理解这个基本概念，以理解逻辑回归、分布、判别分析和假设检验等分类算法是如何工作的。它有助于完成以下任务：

• 它是一组工具，有助于根据现有数据和信息确定目标。
• 统计学有助于理解数据，并将样本观察转化为知识。
• 地球上没有任何系统拥有完整且随时可用的数据。每个系统中都存在数据异常，如不完整或损坏的数据。统计概念将是您在帮助解决这些挑战性情况时的最佳盟友。
• 有助于解决“板球锦标赛中谁得分最高/最低？”、“2021年哪项技术将流行？”等问题，还有更多。

以下是一些机器学习所需的统计学基本概念：

• 组合数学
• 公理
• 贝叶斯定理
• 方差和期望
• 随机变量
• 条件分布和联合分布。

5. 机器学习中的离散数学

离散数学的研究涉及使用离散（非连续）数字，最常见的是整数。许多领域，包括算法、编程语言、密码学、软件开发等，都广泛使用离散数学。

离散数学经常用于机器学习和人工智能应用。例如，一个神经网络可能拥有0.56个节点以及整数数量的节点和连接。在这些情况下，需要离散元素，这就需要使用离散数学。图算法和图结构是机器学习中两个重要的离散数学主题。

典型的ML项目只需要离散数学的基础。同时，如果你想处理图模型、关系域、结构化预测等，则需要查阅离散数学书籍。然而，大多数概念在大学期间就为理科毕业生进行了讲解。

6. 算法与复杂优化

为了更好地理解机器学习算法的计算效率和可伸缩性，优化算法至关重要。必须概念性地理解数据结构（如二叉树、哈希表、堆和栈）、动态规划、随机算法和亚线性算法、图、梯度/随机下降以及对偶方法。

学习机器学习数学的最佳途径/资源

学习机器学习的数学并不是一件常规的事情，但有很多资源可供选择，包括书籍、在线课程和许多博客。这些资源都提供了关于各种数学主题的丰富信息。然而，每个站点对不同的主题都有帮助，因此我们收集了所有必备工具的列表，以帮助您更有效地、更轻松地学习数学。

1. 机器学习数学教育教科书

• 开始机器学习数学之旅最有用的书籍之一是 **《机器学习数学》** by Marc Peter Deisenroth。本书详细介绍了算法的数学基础及其在现实世界中的应用。它采用了最佳方式来传达机器学习基础数学的思想。您可以在此页面下载这本书。
• 另一本关于高级数学概念的书籍是 **《深度学习实用数学》** by Jay Dawani，它有助于理解最新的ML算法和深度学习模型。本书还对线性代数、微积分、概率和统计学进行了基本介绍。在第二版中，您将找到对多层感知器（MLP）、卷积神经网络（CNN）和循环神经网络（RNN）背后数学原理的深入解释。此外，它还教授了正则化（L1和L2范数）、dropout层等重要概念。

1. 机器学习在线数学教学视频

• Khan Academy

可汗学院（Khan Academy）是一个著名的网站，提供免费且解释最好的数学和科学课程。通过这些视频，您可以轻松掌握与线性代数、概率与统计、多元微积分和优化相关的各种数学概念。

• Udacity

Udacity 的《统计学入门》是另一个免费视频资源，可以帮助您理解机器学习和数据科学所需的关键统计学原理。

• 伦敦帝国理工学院的多元微积分

伦敦帝国理工学院的多元微积分：伦敦帝国理工学院在YouTube上发布了一系列关于多元微积分概念及其在各种ML算法中应用的视频。伦敦帝国理工学院已免费向所有热切的学习者开放了多元微积分课程。如果您想要完整的机器学习数学课程，则必须加入Coursera。

结论

数学是机器学习中最关键的组成部分之一。然而，您需要掌握多少数学完全取决于您想要研究的主题以及您的兴趣水平。这意味着，您只需要对算术原理（您在大学中学到的那些）有一个初步的了解，就可以构建简单的ML模型；然而，如果您想开发复杂的模型并探索高级概念，那么您还需要掌握相关的数学知识。学习数学并运用ML算法需要三到四个月的时间。