tensorflow(三)–可视化学习,线性回归实现,梯度下降,模型保存和加载,自定义命令行参数

587-王同学

发表文章数:79

热门标签

,
首页 » 算法 » 正文
#!usr/bin/env python
# -*- coding:utf-8 _*-
"""
@author: Caramel
@file: 4-linear_regression.py
@time: 2020/05/29
@desc:
1.训练参数问题:trainable
2.学习率设置问题:
    梯度爆炸,极端情况下,权重的值变的非常大,以至于溢出,导置NAN值
    解决:调整学习率
          重新设计网络
          使用梯度截断(在训练过程中检查和限制梯度的大小)
          使用激活函数
3.添加权重参数,损失值等在tensorboard观察情况
    收集变量
    合并变量写入事件文件
4.保存模型文件:checkpoint文件
5.定义命令行参数
    首先定义有哪些参数需要在运行时指定
    程序中获取定义的命令行参数

"""
import numpy as np
import tensorflow as tf
import os

tf.app.flags.DEFINE_integer('max_step', 100, '模型训练的步数')
tf.app.flags.DEFINE_string('model_dir', ' ', '模型文件的加载路径')
#定义获取命令行参数名字
flags = tf.app.flags.FLAGS
def mylineaer():
    '''
    自实现一个线性回归问题

    :return:
    '''
    #变量作用域:让代码更加清晰,作用分明
    with tf.variable_scope('data'):
        # 准备数据,x 特征值【100, 1】  y目标值【100】
        x = tf.random_normal([100, 1], mean=0.0, stddev=1.0, name='x_data')
        # 相乘必须是二维的
        y_true = tf.matmul(x, [[0.7]]) + 0.8

    with tf.variable_scope('model'):
        # 2.建立线性回归模型 1个特征,1个权重,一个偏置 y = wx + b
        # 随机初始化一个权重和偏置的值,让他去计算损失,然后在当前状态下优化
        # 用变量定义才能优化
        # trainable参数:指定这个变量能跟着梯度下降一起优化
        weight = tf.Variable(tf.random_normal([1, 1], mean=0.0, stddev=1.0), name='w', trainable=True)
        bias = tf.Variable(0.0, name='b')
        y_pre = tf.matmul(x, weight) + bias

    with tf.variable_scope('loss'):
        # 3.建立损失函数,均方误差
        loss = tf.reduce_mean(tf.square(y_true - y_pre))

    with tf.variable_scope('optimizer'):
        # 梯度下降优化损失,给定学习率
        train_op = tf.train.GradientDescentOptimizer(0.1).minimize(loss)

    with tf.variable_scope('init'):
        # 定义初始化op
        init_op = tf.global_variables_initializer()

    #1.收集tensor
    tf.summary.scalar('loss_monitor', loss)
    tf.summary.histogram('weight_monitir', weight)
    #2.定义合并tensor的op
    merged = tf.summary.merge_all()
    saver = tf.train.Saver(max_to_keep=1)
    with tf.Session() as sess:
        #初始化变量
        sess.run(init_op)

        #建立事件文件
        grapg_evnt = tf.summary.FileWriter('./tmp/summary/test/', graph=sess.graph)
        #打印随机最先初始化的权重和偏置
        print('随机初始化w和b', weight.eval(), bias.eval())
        # 循环训练  运行优化

        #加载模型,覆盖模型当中随机定义的参数,从上次训练的参数结果开始
        if os.path.exists('./tmp/ckpt/models/'):
            saver.restore((sess, './tmp/ckpt/models/'))
        for i in range(flags.max_step):
            #运行合并的op
            summary = sess.run(merged)
            grapg_evnt.add_summary(summary=summary, global_step=i)
            sess.run(train_op)
            print('第{}次'.format(i))
            print('优化后w和b', weight.eval(), bias.eval())
            if i % 50 == 0:
                saver.save(sess, './tmp/ckpt/models/')
    return None
if __name__ == '__main__':
    mylineaer()

 

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录