贝叶斯回归

通过调整正则化参数以适应可用数据，而不是严格设置它，可以使用贝叶斯回归方法将正则化参数包含在估计过程中。

这可以通过为模型的超参数添加无信息先验来实现。岭回归和分类正则化类似于在系数之前对高斯分布的后验估计进行计算。将 lambda 视为一个可以从数据中计算出来的随机变量，而不是显式设置它，这是可行的。

贝叶斯岭回归

如前所述，BayesianRidge 以概率方式对回归问题进行建模。球形高斯分布为系数提供了先验。

选择作为伽马分布的先验和高斯精度之前的共轭。最终的模型，贝叶斯岭回归，类似于传统的岭回归。

伽马先验分布有四个较大的超参数，这些超参数通常被选择为无信息先验。

示例

使用贝叶斯岭回归进行曲线拟合

自动相关性确定 - ARD

自动相关性确定（在 ARDRegression 中实现）在许多方面与贝叶斯岭回归相似，它是一种线性模型，可以产生更稀疏的系数 [1] [2]。

ARDRegression 的一个不同之处在于，它用以球形高斯分布为基础的中心椭圆高斯分布取代了球形高斯分布。因此，每个系数都可以从一个具有正对角矩阵的精度中心、零中心高斯分布中提取。贝叶斯岭回归的每个坐标都具有独特的标准差。

示例

线性贝叶斯回归器比较

贝叶斯回归利用先前的信念或知识来“学习”更多关于数据的信息并做出更准确的预测。为了获得更准确的估计，它还考虑了数据中的不确定性程度，并借鉴了过去的技术进步。因此，当信息复杂或困难时，它是最佳选择。

在贝叶斯回归中，线性回归模型的参数是根据事实（如参数的先验知识和贝叶斯规则的应用）进行预测的。与普通最小二乘（OLS）线性回归相比，其概率特性可能产生更有效的结果，提供一定程度的估计不确定性，并传达更准确的回归参数值。

使用贝叶斯回归还可以进行模型选择和异常值检测等进一步的回归分析活动。

贝叶斯回归

贝叶斯定理用于计算给定观测数据的一组参数的可能性。数据生成过程的潜在假设是贝叶斯回归和传统线性回归之间的主要区别。

当数据集太少或质量不高时，贝叶斯回归可能会很有用。与传统回归技术相比，后者的输出仅来自单个属性值，而贝叶斯回归模型的输出来自概率分布。

贝叶斯回归的一些相关概念

以下是贝叶斯回归的关键概念：

贝叶斯原理

贝叶斯定理在事件的先验概率和在考虑所有可用信息后的后续概率之间提供了一个联系。

最大似然估计（MLE）

它寻找最有可能使观测数据拟合假设模型的参数值。MLE 提供参数的点估计，并且不考虑关于它们的任何先验知识或假设。

最大后验估计（MAP）

MAP 估计是一种贝叶斯方法，它使用似然函数和先验知识来估计参数。在 MAP 估计中，参数被赋予一个表示先验假设或关于其值的信息的先验分布。

贝叶斯回归的必要性

• 回归分析的参数假设的先前观点也被用于贝叶斯回归。当需要更多数据且先验知识至关重要时，它使其变得实用。贝叶斯回归通过融合先验信息和观测数据，提供对回归参数更明智、更精确的估计。
• 与传统回归技术生成的单一分量估计相反，贝叶斯回归生成后验分布，该分布表示参数值中的不确定性，从而提供了一种自然的方式来衡量回归参数估计中的不确定性。由于它提供了可接受的参数值范围，因此可以计算出可靠的或贝叶斯置信区间。
• 它使得能够对预测变量和响应变量之间的关系进行更复杂、更现实的建模。
• 通过计算多个模型的后验概率，贝叶斯回归可以更容易地进行模型选择和比较。
• 与传统回归技术不同，贝叶斯回归能够更有效地处理异常值和显著发现。

贝叶斯回归的实现

让我们以 X = x_1, x_2,..., x_P 作为线性回归的独立特征，其中 xi 是独立特征，Y 是目标变量。假设有 n 个 (X, y) 的样本。

我们假设误差服从均值为 0、方差恒定的正态分布，即 (epsilon sim N(0, sigma2))。这个假设使我们能够对目标变量在预期值周围的分布进行建模。

概率函数

提供独立函数和回归系数之间关系的概率分布称为似然。它描述了从一组合法的回归系数组合中获得特定结果集的机会。

先验

先验是参数在查看数据之前的原始观点或概率。它是关于参数的知识或对它们的假设。

在最大后验（MAP）估计中，我们考虑关于参数的先验知识或假设。我们使用先验分布 P(w|alpha) =N(0,alpha-1I) 来表达这种先前知识。

后验分布

在优化过程中，由于它与参数设置无关，我们可以忽略它。

P(w | X,alpha,beta-1) propto(L(Y|X,w,beta-1) cdot P(w|alpha))。

贝叶斯回归是一种统计建模技术，它结合了传统回归分析和贝叶斯概率论。它考虑了关于模型定义特征的先验知识或假设。贝叶斯回归在处理稀疏或嘈杂的数据时，或者当您希望对模型的参数进行概率陈述时，特别有用。

以下是贝叶斯回归的主要要素和概念：

• 先验分布：在使用贝叶斯回归时，模型参数最初是根据先验分布的。在您观察到任何数据之前，这代表了您对参数的假设或知识。如果您先验知识有限，则先验可以是相对无信息性的，或者可以根据领域知识来选择。
• 似然函数：根据模型参数，似然函数显示了观察到数据的可能性。它衡量了模型与收集到的数据的匹配程度。
• 马尔可夫链蒙特卡罗 (MCMC)：在实际应用中，对于复杂的模型，精确计算后验分布可能在计算上很困难。MCMC 技术，如吉布斯采样和 Metropolis-Hastings，通常用于近似后验分布。
• 贝叶斯推断：一旦获得后验分布，您就可以进行贝叶斯推断。这包括计算可信区间（类似于频率统计中的置信区间）、进行预测以及估计相关参数。
• 模型比较：通过比较不同模型的后验概率，贝叶斯回归还可以进行模型比较。这可能有助于为您的数据选择最佳模型。

总而言之，贝叶斯回归提供了一个概率建模框架，考虑了参数不确定性。

贝叶斯回归的类型

通常，使用正态分布来表示系数的后验分布。

• 贝叶斯岭回归：在这种类型的岭回归中，模型参数受到 L2 正则化的约束。当数据中存在多重共线性问题时，它可能会很有帮助，并且有助于避免过拟合。
• 贝叶斯 Lasso 回归：与岭回归类似，贝叶斯 Lasso 为模型参数添加了 L1 正则化。这可能会导致稀疏模型，通过将某些系数设置为零来执行变量选择。
• 贝叶斯多项式回归：通过在模型中包含独立变量的多项式项，您可以将贝叶斯回归转换为多项式回归。因此，可以对变量之间的非线性关系进行建模。
• 广义线性模型 (GLM)：贝叶斯回归可以修改为拟合广义线性模型，这些模型考虑了非正态响应变量并允许使用不同的链接函数。

贝叶斯回归的优点

整合先验信息：贝叶斯回归的关键优势之一是它能够整合关于模型参数的先验知识或假设。当您拥有可以改进模型的专业信息时，这非常有帮助。

• 正则化：通过自动限制模型的复杂性，贝叶斯回归提供正则化，有助于防止过拟合。
• 处理小型数据集：由于贝叶斯方法允许您利用先验知识来增强参数估计，因此在处理小型或稀疏数据集时非常有用。

挑战与注意事项

计算复杂性：对于具有大参数空间的复杂模型，计算后验分布可能非常耗时。为了解决这个问题，通常会使用 MCMC 方法。

• 先验分布：选择的先验分布可能会影响贝叶斯回归的结果。仔细选择能够反映您先验观点或知识的适当先验非常重要。
• 可解释性：尽管贝叶斯回归会产生大量的概率数据，但理解结果可能比传统回归技术更困难。
• 模型比较：尽管贝叶斯回归可以比较多个模型，但模型选择仍然可能具有挑战性，特别是在处理许多潜在预测变量时。

结论

总之，贝叶斯回归是一个强大的统计框架，通过融合先验知识和观测数据来实现概率建模和推断。当您希望量化不确定性、考虑先验信息和正则化模型以进行预测或估计参数时，它非常有用。然而，对于复杂模型，它可能在计算上很繁重，并且需要仔细选择。