深度学习 — gradient descent(梯度下降)

2140-李同学

发表文章数:48

首页 » 数据结构 » 正文


gradient descent(梯度下降) : 每次找当前点的切线方向,不断接近最低点

  • ▽表示求梯度(求导)

深度学习 -- gradient descent(梯度下降)

深度学习 -- gradient descent(梯度下降)
我们期望学习率开始时大,一定迭代次数后变小,因此可用下图中红点上的公式,使得学习率和迭代次数挂钩
深度学习 -- gradient descent(梯度下降)
深度学习 -- gradient descent(梯度下降)
深度学习 -- gradient descent(梯度下降)
深度学习 -- gradient descent(梯度下降)

不光要考虑一次微分的值,二次微分的值也应当考虑,因此最佳的是用一次微分除以二次微分的值
深度学习 -- gradient descent(梯度下降)
深度学习 -- gradient descent(梯度下降)

未经允许不得转载:作者:2140-李同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《深度学习 — gradient descent(梯度下降)》 发布于2021-10-17

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录