深度学习和机器学习对数据结构和算法的需求

数据结构和算法对于机器学习和深度学习至关重要。它们为高效地组织和处理大量数据提供了基础。数据结构和算法的选择会显著影响机器学习模型的性能。

机器学习专家必须精通数据结构和算法，以及他们对机器学习技术的了解。

在使用机器学习解决问题时，评估模型性能或哪个模型最准确、耗时最少、资源最少非常重要。此外，如果一个模型是利用算法构建的，机器学习专家必须比较两种算法来决定哪种最适合该任务。在这种情况下，数据结构知识对 ML 专家至关重要。

数学是深度学习的关键组成部分。因此，为了快速解决数学问题，需要对数据结构和算法有深入的理解。为了了解问题内部是如何表示的，实际存储模式是如何工作的，以及问题背后实际发生了什么，可以运用数据结构和算法。

它们被用来存储和处理海量数据，以有效地训练和部署机器学习模型。

• 数据存储：为了有效地学习，深度学习和机器学习模型需要大量数据。这些数据使用数组、列表和字典等数据结构以结构化的方式存储，以便于访问和编辑。
• 数据处理：为了有效地处理数据，使用了队列、栈和堆等数据结构。它们用于实现特征提取和预处理数据方法，如排序、搜索和遍历。
• 内存管理：深度学习和机器学习模型的训练和部署可能需要大量内存。在处理海量数据集时，必须有效地进行内存管理，这就是为什么使用链表和树等数据结构。
• 优化：为模型参数找到最佳值需要使用梯度下降等优化技术，这对于许多机器学习算法是必需的。这些优化策略使用优先队列和哈希表等数据结构进行高效实现。
• 数据并行：通过将数据分配给多个处理器或 GPU，数据并行是一种加速训练过程的方法。分布式数组和矩阵等数据结构可以有效地实现数据并行。

深度学习和机器学习中一些常见的数据结构包括数组、链表、树、图和矩阵。这些结构用于以一种高效且针对特定任务进行优化的方式存储和处理数据。例如，数组以线性方式存储大量数据，而链表则以允许快速插入和删除的方式存储数据。

算法对存储在这些数据结构中的数据执行操作。深度学习和机器学习中一些常见的算法包括线性回归、逻辑回归、决策树、支持向量机和神经网络。这些算法利用数学模型根据提供的数据进行预测或决策。

选择适合特定任务的数据结构和算法很重要。例如，如果任务需要快速处理大量数据，决策树这样的算法可能是一个不错的选择。另一方面，如果任务需要高度的准确性，神经网络可能是更好的选择。

总而言之，算法和数据结构是机器学习和深度学习的基本组成部分。它们提供了组织和高效处理数据的底层基础。数据结构和算法的选择会显著影响机器学习模型的性能。

深度学习需要哪些算法和数据结构的知识，为什么？

算法

• 动态规划 (DP) 算法：在计算的每个阶段，动态规划的概念都有助于检查所有选项，然后负责选择最有可能发生的。动态规划在遗传算法的强化学习方法中使用。Viterbi 算法也使用动态规划，它生成模型，特别是隐马尔可夫模型。
• 次线性算法和随机算法：这些方法对于随机优化、随机低秩矩阵近似、深度学习的 Dropout 以及回归的随机归约非常有用，所有这些都是重要的深度学习概念。深度学习也面临次线性优化问题，例如寻找最小包围球和训练线性分类器。
• 其他算法
• 随机/梯度算法
• 原始对偶方法

数据结构

• 链表：如果已知需要操作的节点，则在链表中进行插入和删除是常数时间操作。链表可以用于与动态数组相同的应用，因为动态数组在开头或中间添加新元素时需要移动元素，这很昂贵，需要 O(N) 的时间。由于链表也可以转换为数组，因此它们是完美且更便宜的选择。
• 平衡二叉树和二叉树：就像上面讨论的链表概念一样，二叉树也可以转换为数组，因为它们是排序的，因此插入和删除的时间复杂度为 O(log N)。当数据线性排列时，最坏情况下的插入是 O(N)，这需要各种转换技术来生成更平衡的树。还需要对 k 维树（它使用二叉搜索树原理）有工作知识，以便深度学习中的 NN 算法使用。
• 堆数据结构：这种数据结构在某些方面与树相似；然而，与树不同，它基于垂直排序。与树一样，可以使用堆数据结构来执行相同的应用，但采用不同的技术。此外，与树不同，大多数堆将其数据存储为数组，并且仅隐式了解项目之间的关系。
• 动态数组：这是矩阵运算所必需的，在其中会遇到一维、二维，甚至三维或四维数组，这使得它在学习线性代数时成为一个关键主题。如果使用 Python 作为构建深度学习算法的主要编程语言，那么对 NumPy 有扎实的理解也是必要的。
• 栈数据结构：大多数深度学习库使用递归控制语言，这可以通过栈来实现，以“后进先出”的原则概括二元分类。此外，栈易于理解，并且在计算机科学的许多领域（如语法分析）中都很有用。
• 队列数据结构：它的定义是“先进先出”，用于预测排队场景，通过创建队列中人数与使用给定数据的概率密度相关的直方图。队列概念可用于记录每辆经过的汽车的分割时间，并根据提供的数据集创建相关的直方图。同样可以应用于记录 F1 比赛中汽车进入终点线的分割时间。
• 集合：集合数据结构对于漫长的深度学习职业生涯非常有帮助，因为深度学习中涉及的数学主要依赖于处理数据集。此外，Python 包含集合函数，这非常有利且方便。
• 哈希：这是一种数据索引技术，可用于降低深度学习的计算负担。使用最佳哈希函数将数据集转换为可管理的小数字，称为哈希值。当然，哈希在信息存储和检索上下文中被广泛使用。在“大数据”这个词被广泛使用之前，哈希就是处理大量数据最重要的几种方法之一，这证明了它的用处。
• 图：这种数据结构对机器学习界有显著影响。例如，知识图谱中项目之间缺失的关系或链接预测中的缺失边最有可能在未来出现。因此，如果您对深度学习或机器学习感兴趣，就必须精通图数据结构。

您将经常创建新的数据结构。这些不是预先制作好的解决方案；您将基于这些需求开发一个解决方案，该方案将尽最大努力解决您的问题。

算法也受到同样的限制！

有效而精简的算法设计对于解决现实世界的问题至关重要。如果您想找到一个精确且准确的预测，该怎么办？选择您可用的众多 ML 算法中的一种，例如回归、分类等，是解决问题的关键。