深度学习(三)–卷积

587-王同学

发表文章数:79

首页 » 算法 » 正文

卷积神经网络

链式反向梯度传导

  • 链式法则:
    y = f(x), z = g(y)
    z对x求导,就是z对y,y对x
  • 神经网络中链式法则
  • 计算顺序
    从loss向输入传播
  • 导数存储
    每层的倒数结果进行存储,用于下一层导数的计算

卷积层

  • 什么是卷积层
    卷积神经网络基本结构
    有多个卷积核组成
    每个卷积核同输入数据卷积运算,形成新的特征图
  • 有什么组成
    卷积核:
    同输入数据进行计算的二维(一维、三维)算子
    大小用户定义,深度-输入数据定义
    卷积核矩阵值:卷积神经网络的参数
    卷积核初始值随机生成,通过单向传播更新
    H= (H – F + 2P) / S
    卷积核的关键参数:
    奇偶选择:一般奇数,满足对称
    大小选择:根据输入数据,根据图像特征
    厚度确定:与输入数据一致
    覆盖范围:一般覆盖全部输入,特殊情况 覆盖局部区域
    边界扩充(pad):在卷积计算过程中,为了允许边界上的数据也能作为中心参与卷积运算,将边界假装延伸
    扩充目的:确保卷积后特征图尺度一致
    确定方法:卷积核的宽度2i+1, 添加pad宽度为i
    卷积核数目(kernel number):卷积神经网络的“宽度” ,常见参数 64,128,256,GPU 并行更加高效。
  • 卷积网络
    正向传播
    反向传播
  • 功能层
    非线性激励:卷积是线性运算,增加非线性描述能力,ReLU
    降维:
    特征图稀疏,减少数据运算量,保持精度
    归一化:
    特征的scale保持一致
    Batch Normalization (BN) 批量归一化:
    原因:特征数 Scale不一致
    好处:加速训练,提高精度
    近邻归一化(Local Response Normalization):
    与BN的区别:
    BN依据mini batch的数据,近邻归一仅需要自身
    BN训练中有学习参数
    区域分割:
    某些应用中,希望独立对某些区域单独学习
    学习多套参数
    更强的特征描述能力
    区域融合:
    对独立进行特征学习的分支进行融合,构建高效而精简的特征组合
    Google Inception module. GoogleLeNet 的基本模块 用多种分辨率对目标特征进行学习之后进行多分辨率特征的融合
    级连-concatenation:
    不同输入网络特征简单叠加
    合并-运算融合 形状一致的特征层,通过 (+,-,x,max,conv) 运算,形成形状相同的输出
    增维:
    增加图片生成或探测任务中空间信息
    池化层(Pooling layer):
    数据降维,方便计算,存储 (max, ave)
    池化过程中,每张特征图单独降维

拜师教育学员文章:作者:587-王同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《深度学习(三)–卷积》 发布于2020-06-27

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录