NLP基础 – 有限制条件的优化 “拉格朗日乘法项 (lagrangian Multiplier)”

1674-曲同学

发表文章数:87

热门标签

首页 » LeetCode » 正文

在“求解最优解”时,对于某些极值问题的求解无意义(比如某些函数的极值为无穷),这样的函数的通常需要带有一些约束条件,例如:

  • F ( x , y ) = x + y

  • 有限制条件: x2 + y2 =1

“拉格朗日乘法项”就是用来解决这类问题的,其核心思想为:把“限制条件”作为“目标函数的惩罚项”加入到目标函数中

通过拉格朗日乘法项把限制条件通过简单的转变加到目标函数中,那么问题就变成了:

L = x + y + λ( x2 + y2 + 1 )

可以把 λ( x2 + y2 + 1 )这一项看作是惩罚项(损失cost),一旦条件不满足会产生惩罚,一旦条件满足,损失为0。

对 L = x + y + λ( x2 + y2 + 1 ) 中的 x,y,λ 分别求导,令其导数为 0 进行求解 ,如下:

NLP基础 - 有限制条件的优化 “拉格朗日乘法项 (lagrangian Multiplier)”

可以得到两个解:

NLP基础 - 有限制条件的优化 “拉格朗日乘法项 (lagrangian Multiplier)”
将求出的两个解分别带入L = x + y + λ( x2 + y2 + 1 ) 进行对比,可得到最优解。

注:这里“限制条件”的公式采用了“等号”(即 x2 + y2 =1),后面会讲“不等号”的复杂计算(svm)。

标签:

未经允许不得转载:作者:1674-曲同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《NLP基础 – 有限制条件的优化 “拉格朗日乘法项 (lagrangian Multiplier)”》 发布于2021-08-18

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录