机器学习进阶第二节-回归

2125-于同学

发表文章数:45

首页 » Python » 正文

线性回归

使用极大似然估计解释最小二乘

目标函数梯度等于0 求驻点 得到θ

增加λ扰动,可以解决若XTX不可逆或防止过拟合

假设:机器学习中的建模过程充斥着假设,合理的假设是合理模型的必要前提。

正则项L2正则   将线性回归的目标函数增加平方和损失:岭回归

lasso做特征选择 降维  L1正则

Elastic Net : L1正则和L2正则结合起来 

梯度下降算法:初始化θ,沿着负梯度方向迭代,更新后的θ使得损失函数更小

BGD批量梯度下降算法

SGD随机梯度下降算法   优先选择SGD

mini-batch梯度下降算法 不是没拿到一个样本即更改梯度,而是若干个样本的平均梯队作为更新方向,则是mini-batch梯度下降算法  32 64个等选择样本

online学习 边拿到数据边学习

未经允许不得转载:作者:2125-于同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《机器学习进阶第二节-回归》 发布于2021-10-13

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录