深度学习(一)–传统神经网络、激活函数

587-王同学

发表文章数:79

热门标签

,
首页 » 算法 » 正文

传统神经网络

神经网络起源:线性回归

线性回归:
线性关系来描述从输入到输出的映射关系

从线性到非线性

  • 非线性激励:
    考量标准
    正向对输入的调整->变成0~1
    反向梯度损失
  • sigmoid:
    1/1+e^-x
    求导: y(1-y )
    映射到【0,1】
    容易发生梯度消失
  • tanh:
    1-e-2x/1+e-2x
    求导:1-f(x)^2
    映射到【-1,1】
    容易发生梯度消失
  • ReLu0
    0 X<0
    X X>=0
    损失大量特征,正向截断负值
    反向梯度没有损失:不会发生梯度消失
  • Leaky ReLu
    0.01x x<0
    x x>=0
    保留更多参数,少量梯度反向传播

神经网络的配件

  • loss损失函数:
    影响深度学习性能最重要的因素之一,是外部世界对神经网络模型训练
    softmax:
    e^j / Σe^k
    分类问题的预测结果更明显,最大值更明显
    cross entropy:
    L(w) = -1/n(ylogy_pre+ (1-y)log(1-y_pre))
    [0,1]分类
    自定义:
    看重某一个属性,单独将某一些预测值取出或者赋予不同大小的参数
    合并多个loss:
    多目标训练任务,设置合理的loss结合方式(各种运算)
    神经网络融合:
    不同神经网络loss结合,共同loss对网络进行训练指导
  • 学习率
    数值大收敛快
    数值小精度高
    如何选择:
    固定:一直以固定值
    step:到一定迭代步数就改变
    自定义:根据参数值设置学习率
  • 动量
    x += -learning_ratedx
    沿着已经得到的优化方向前进,不用重新找方向,只需要微调
    加入惯性:
    v = mmu
    v – learning_rate*dx
    x += v
  • 过拟合:
    参数多数据有限
    正则化
    dropout:
    随机选出一部分神经元不采用其结果
    50%效果最好
    Fine-tuning/Data Augmentation:
    对图片进行旋转,评议,切割,增加图片数量

面试题

  • 有线性回归的网络吗
    没有,多层相当于一层,没有意义
  • 动量和直接调大学习率有什么区别
    在原来方向上,考虑梯度新的变化,矢量相加
    直接调大
    方向不同找的更准确
  • 什么叫weight decay和正则化有什么关系
    一样的

拜师教育学员文章:作者:587-王同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《深度学习(一)–传统神经网络、激活函数》 发布于2020-06-23

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录