模型参数与超参数的区别

对于机器学习初学者来说，可能会有许多令人困惑的术语，而要精通这个领域，清除这些困惑至关重要。例如，“模型参数”和“超参数”。对于初学者来说，不清楚这两个术语是常见的困扰。因此，为了消除这种困惑，让我们了解参数和超参数之间的区别以及它们之间如何相互关联。

什么是模型参数？

模型参数是模型内部的配置变量，模型会自行学习它们。例如，线性回归模型中独立变量的权重或系数。支持向量机（SVM）中独立变量的权重或系数、神经网络的权重和偏置、聚类中的簇中心点。

我们可以通过下图了解模型参数

上图展示了简单线性回归的模型表示。其中，x 是自变量，y 是因变量，目标是为给定数据拟合最佳回归线，以定义 x 和 y 之间的关系。回归线可以用以下方程表示：

其中 m 是线的斜率，c 是线的截距。这两个参数通过最小化 RMSE 来拟合直线计算得出，它们被称为模型参数。

模型参数的一些关键点如下：

• 模型使用它们进行预测。
• 它们由模型根据数据本身学习。
• 这些通常不是手动设置的。
• 它们是模型的一部分，也是机器学习算法的关键。

什么是模型超参数？

超参数是用户明确定义以控制学习过程的参数。

• 这些通常由机器学习工程师手动定义。
• 对于给定的问题，无法知道超参数的最佳精确值。最佳值可以通过经验法则或反复试验来确定。

超参数的一些例子包括训练神经网络的学习率、KNN 算法中的 K 等。

参数与超参数的比较表

结论

在本文中，我们了解了模型参数和超参数的明确定义以及它们之间的区别。简而言之，模型参数是模型内部的，并自动从数据中估计，而超参数是手动设置的，用于优化模型并帮助估计模型参数。