乘数法

乘数法是一种已建立的优化方法，用于快速收敛到约束优化问题的解。它扩展了拉格朗日乘数法，增加了惩罚函数以更好地强制执行约束。这种方法已在数学方法、机器学习和运筹学中用于解决约束最小化问题。

解决问题的方法是通过增广目标函数将约束优化问题转换为无约束问题。这是通过使用拉格朗日乘数和惩罚项来确保满足约束。

乘数法将约束满足与优化性能相结合。乘数法不是使用简单的惩罚方法（对违反这些约束的人施加巨额惩罚），而是在迭代过程中更新其惩罚项，从而使收敛更平滑。这些特性有助于使其在约束严格的最大问题中更稳定和高效。实际上，该方法在工程优化、经济学和人工智能中得到了广泛应用。例如，深度学习被概括为通过某些参数约束进行训练。在结构工程中，此类设计用于以最低成本创建能够承受关键结构要求的材料。

现在我们将导入所需的库并生成一个合成数据集，用于实现乘数法。

代码

输出

从现在开始，我们将实现 SVM 拉格朗日乘数法。

代码

输出

这里的准确率是 99.46380697050938。

现在我们将以较小的裕度执行它。

代码

输出

这里的准确率是 99.86595174262735，比大裕度略有优势。