深度学习2.0-16.随机梯度下降之反向传播算法推导

1147-柳同学

发表文章数:589

首页 » 算法 » 正文

1.激活函数及其梯度

深度学习2.0-16.随机梯度下降之反向传播算法推导

1.sigmoid/Logistic

深度学习2.0-16.随机梯度下降之反向传播算法推导
深度学习2.0-16.随机梯度下降之反向传播算法推导
容易出现梯度离散,权值长时间保持不变,未能更新
深度学习2.0-16.随机梯度下降之反向传播算法推导

2.Tanh-在RNN中使用较多

深度学习2.0-16.随机梯度下降之反向传播算法推导
深度学习2.0-16.随机梯度下降之反向传播算法推导
深度学习2.0-16.随机梯度下降之反向传播算法推导

3.relu-Rectified Linear Unit(整型的线性单元)

深度学习2.0-16.随机梯度下降之反向传播算法推导
深度学习2.0-16.随机梯度下降之反向传播算法推导

2.损失函数及其梯度

深度学习2.0-16.随机梯度下降之反向传播算法推导

1.MSE-Mean Squared Error

深度学习2.0-16.随机梯度下降之反向传播算法推导
深度学习2.0-16.随机梯度下降之反向传播算法推导

2.Cross Entropy Loss

深度学习2.0-16.随机梯度下降之反向传播算法推导
深度学习2.0-16.随机梯度下降之反向传播算法推导

softmax

深度学习2.0-16.随机梯度下降之反向传播算法推导
深度学习2.0-16.随机梯度下降之反向传播算法推导
深度学习2.0-16.随机梯度下降之反向传播算法推导
深度学习2.0-16.随机梯度下降之反向传播算法推导
深度学习2.0-16.随机梯度下降之反向传播算法推导

3.单输出感知机及其梯度

深度学习2.0-16.随机梯度下降之反向传播算法推导
深度学习2.0-16.随机梯度下降之反向传播算法推导
深度学习2.0-16.随机梯度下降之反向传播算法推导
深度学习2.0-16.随机梯度下降之反向传播算法推导
深度学习2.0-16.随机梯度下降之反向传播算法推导

4.多输出感知机以及梯度

深度学习2.0-16.随机梯度下降之反向传播算法推导
深度学习2.0-16.随机梯度下降之反向传播算法推导
深度学习2.0-16.随机梯度下降之反向传播算法推导

5.链式法则

深度学习2.0-16.随机梯度下降之反向传播算法推导
深度学习2.0-16.随机梯度下降之反向传播算法推导
深度学习2.0-16.随机梯度下降之反向传播算法推导
深度学习2.0-16.随机梯度下降之反向传播算法推导

6.多层感知机梯度(反向传播算法)

深度学习2.0-16.随机梯度下降之反向传播算法推导
深度学习2.0-16.随机梯度下降之反向传播算法推导
深度学习2.0-16.随机梯度下降之反向传播算法推导
深度学习2.0-16.随机梯度下降之反向传播算法推导
深度学习2.0-16.随机梯度下降之反向传播算法推导

未经允许不得转载:作者:1147-柳同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《深度学习2.0-16.随机梯度下降之反向传播算法推导》 发布于2020-10-09

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录