tensorflow2.0—笔记5 卷积神经网络

1191-杨同学

发表文章数:32

首页 » 算法 » 正文

卷积神经网络简介

tensorflow2.0---笔记5 卷积神经网络
隐藏神经元与输入的连接可以看作一种观察方式。图一中全连接层,第一个隐藏神经元与所有输入相连,相当于一次观察整幅图像;而图二卷积神经网络,一次观察一个小区域。卷积神经网络相对于全连接网络最大的特点就是参数量的大幅减少
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
对比CV中的卷积核(经验得出):

tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
CNN中,w学习得到,可以采用多个卷积核提取特征,增加网络的抽象能力。

tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络

卷积神经网络中,一般随着层数增加,w、h下降,channel增加;前面卷积层提取底层特征(颜色、边缘),而后面的层提取的是高层特征(轮子、窗户等)。
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
(不常用)

卷积神经网络中的梯度下降

tensorflow2.0---笔记5 卷积神经网络

池化与采样

tensorflow2.0---笔记5 卷积神经网络

pooling

tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络

upsample

tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络

ReLU

tensorflow2.0---笔记5 卷积神经网络
一般,灰度值,白255,黑0。

tensorflow2.0---笔记5 卷积神经网络

CIFAR100实战

tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络

import tensorflow as tf
from tensorflow.keras import layers, optimizers, datasets, Sequential
import os

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
tf.random.set_seed(2345)


# conv_layers: 5 units of conv + maxpooling
conv_layers = [

    # unit 1
    layers.Conv2D(64, kernel_size=[3, 3], padding='same', activation=tf.nn.relu),
    layers.Conv2D(64, kernel_size=[3, 3], padding='same', activation=tf.nn.relu),
    layers.MaxPool2D(pool_size=[2, 2], strides=2, padding='same'),

    # unit 2
    layers.Conv2D(128, kernel_size=[3, 3], padding='same', activation=tf.nn.relu),
    layers.Conv2D(128, kernel_size=[3, 3], padding='same', activation=tf.nn.relu),
    layers.MaxPool2D(pool_size=[2, 2], strides=2, padding='same'),

    # unit 3
    layers.Conv2D(256, kernel_size=[3, 3], padding='same', activation=tf.nn.relu),
    layers.Conv2D(256, kernel_size=[3, 3], padding='same', activation=tf.nn.relu),
    layers.MaxPool2D(pool_size=[2, 2], strides=2, padding='same'),

    # unit 4
    layers.Conv2D(512, kernel_size=[3, 3], padding='same', activation=tf.nn.relu),
    layers.Conv2D(512, kernel_size=[3, 3], padding='same', activation=tf.nn.relu),
    layers.MaxPool2D(pool_size=[2, 2], strides=2, padding='same'),

    # unit 5
    layers.Conv2D(512, kernel_size=[3, 3], padding='same', activation=tf.nn.relu),
    layers.Conv2D(512, kernel_size=[3, 3], padding='same', activation=tf.nn.relu),
    layers.MaxPool2D(pool_size=[2, 2], strides=2, padding='same')
]

fc_layers = [
    layers.Dense(256, activation=tf.nn.relu),
    layers.Dense(128, activation=tf.nn.relu),
    layers.Dense(100, activation=None)

]


def preprocessing(x, y):

    x = tf.cast(x, dtype=tf.float32) / 255.
    y = tf.cast(y, dtype=tf.int32)
    return x, y



def main():

    # 加载数据
    (x, y), (x_test, y_test) = datasets.cifar100.load_data()
    y = tf.squeeze(y)
    y_test = tf.squeeze(y_test)

    train_db = tf.data.Dataset.from_tensor_slices((x, y))
    train_db = train_db.shuffle(1000).map(preprocessing).batch(64)

    test_db = tf.data.Dataset.from_tensor_slices((x_test, y_test))
    test_db = test_db.map(preprocessing).batch(64)


    # 构建网络
    # conv_net = Sequential(conv_layers)
    # x = tf.random.normal([4, 32, 32, 3])
    # out = conv_net(x)
    # print(out.shape)   ------------(4, 1, 1, 512)

    conv_net = Sequential(conv_layers)
    fc_net = Sequential(fc_layers)

    conv_net.build(input_shape=(None, 32, 32, 3))
    fc_net.build(input_shape=(None, 512))

    optimizer = optimizers.Adam(lr=1e-4)
    varibles = conv_net.trainable_variables + fc_net.trainable_variables

    for epoch in range(5):

        for step, (x, y) in enumerate(train_db):
            # print(step)

            y_onehot = tf.one_hot(y, depth=100)

            with tf.GradientTape() as tape:
                out = conv_net(x)   # out: [batch, 1, 1, 512]
                out = tf.reshape(out, [-1, 512])
                out = fc_net(out)   # out: [out, 100]

                loss = tf.losses.categorical_crossentropy(y_onehot, out, from_logits=True)
                # print(loss.shape)  # (64,)
                loss = tf.reduce_mean(loss)

            grads = tape.gradient(loss, varibles)
            optimizer.apply_gradients(zip(grads, varibles))

            if step%100 == 0:
                print(epoch, step, 'loss:', float(loss))

        # 每个epoch做一个测试
        total_num = 0
        correct_num = 0
        for x, y in test_db:
            out = conv_net(x)
            out = tf.reshape(out, [-1, 512])
            logits = fc_net(out)

            prob = tf.nn.softmax(logits, axis=1)  # 遍历每个列,即为行
            pred = tf.argmax(prob, axis=1)
            pred = tf.cast(pred, dtype=tf.int32)

            correct = tf.cast(tf.equal(pred, y), dtype=tf.int32)
            correct = tf.reduce_sum(correct)

            total_num += x.shape[0]
            correct_num += int(correct)

        acc = correct_num / total_num
        print(epoch, "test_acc:", acc)


if __name__ == '__main__':
    main()

Batch Normalization

若神经元的输入在sigmoid函数两端,则导数比较小,易发生梯度弥散。
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
x1范围与x2相差较大,w1变化使得loss的变化小;w2变化使得loss的变化大。而若w1和w2对loss的影响一样,则不管从哪个方向出发,都能得到较好的结果。
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络

tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络

经典卷积神经网络

tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
tensorflow2.0---笔记5 卷积神经网络
当网络层数达到一定程度,堆叠的层数越多,loss/误差越大;即不能简单堆叠更多层,否则training起来很难。(解决办法—ResNet)

拜师教育学员文章:作者:1191-杨同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《tensorflow2.0—笔记5 卷积神经网络》 发布于2020-09-06

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录