Python—–算法(回归算法)

1146-陶同学

发表文章数:37

首页 » 算法 » 正文

线性回归:

线性关系:

在二维中数据呈直线关系被称之为线性关系

线性关系模型:

𝑓𝑥=𝑤1𝑥1+𝑤2𝑥2+…+𝑤𝑑𝑥𝑑+𝑏

 

w为权重,b称为偏置项,可以理解为:𝑤0×1

损失函数:

每个回归都有损失函数,目的减少误差值

•y_i
为第i
个训练样本的真实值
 

h
𝑤
(
𝑥
𝑖
)
为第
𝑖个训练样本特征值组合预测函数
 

总损失定义:

J(θ)= 〖〖(h〗_w (x〗_1) -y_1 )^2+〖〖(h〗_w (x〗_2) -y_2 )^2+…+〖〖(h〗_w (x〗_m) -y_m )^2

 ∑_(i=1)^m 〖(h_w (x_i )-y_i 〗 )^2

 

又称最小二乘法

在线性回归中,所有数据(特征值和目标值)都要标准化处理

Python-----算法(回归算法)

过拟合与欠拟合:

过拟合:一个假设在训练数据上能够获得比其他假设更好的拟合, 但是在训练数据外的数据集上却不能很好地拟合数据,此时认为这个假设出现了过拟合的现象。(模型过于复杂)

线性回归容易产生过拟合

解决办法:L2正则化:Ridge岭回归:带着正则化的线性回归

欠拟合:一个假设在训练数据上不能获得更好的拟合, 但是在训练数据外的数据集上也不能很好地拟合数据,此时认为这个假设出现了欠拟合的现象。(模型过于简单)

 

 

未经允许不得转载:作者:1146-陶同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《Python—–算法(回归算法)》 发布于2020-07-15

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录