机器学习基础第四节

2125-于同学

发表文章数:45

热门标签

, ,
首页 » Python » 正文

误差平方和(最小二乘法)

机器学习: 算法 策略 优化

线性回归和k近邻 需要标准化?

38min 开始线性回归代码

回归性能评估  均方误差评价机制

线性回归 最为简单易用的回归模型,在不知道特征之间关系的前提下,可以首要选择线性回归

LinearRegression

SGDRegressor

回归评估API

sklearn.metrics.mean_squared_error

欠拟合原因:学习到的数据特征较少

解决办法:增加数据的特征数量

过拟合原因:原始特征过多,存在一些嘈杂特征, 模型过于复杂是因为模型尝试去兼顾 各个测试数据点

解决办法:进行特征选择,消除关联性大的特征(很难做) 

交叉验证(让所有数据都有过训练) 正则化(了解)

如果在训练集验证集表现比较好,测试集表现不行 表示过拟合

如果训练集测试集表现都不行 表示欠拟合

特征选择:过滤式:低方差特征;嵌入式:正则化

正则化:减少权重(趋近于0),尽量减小高次项特征的影响

L2正则化

作用:可以使得W的每个元素都很小,都接近于0 优点:越小的参数说明模型越简单,越简单的模型则越不 容易产生过拟合现象

线性回归LinearRegression容易产生过拟合,为了把训练集数据表现更好,可以通过L2正则化的方式来处理

带有正则化的线性回归-Ridge : 岭回归

sklearn.linear_model.Ridge(alpha=1.0) alpha(λ):正则化力度 coef_:回归系数

回归怎么调优(如何解决过拟合):有l2正则化

岭回归:回归得到的回归系数更符合实际,更可靠。另外,能让 估计参数的波动范围变小,变的更稳定。在存在病态数据偏多的研 究中有较大的实用价值。

未经允许不得转载:作者:2125-于同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《机器学习基础第四节》 发布于2021-10-10

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录