分类模型

1138-魏同学

发表文章数:75

热门标签

首页 » 算法 » 正文

分类模型:概率生成模型
概念

分类是寻找一个函数,当输入一个对象,输出为该对象所属的类别。
输入数值化
对于分类问题来说,要把一个对象当作一个函数的输入,则需要对对象进行数值化操作。
特征数值化:用以组数字来描述一个对象的属性。

分类问题和回归问题(为什么回归问题不适合做分类)

二元分类:在训练时让输入为类别1的输出为1,类别2的输出为-1,在测试的时候回归的输出是一个数值,我们可以将接近1的归为类别1,将接近-1的归为类别2.
分类模型
如图所示:当样本比较集中的时候,即图1,绿色线是最好的模型分界线。对于样本不集中的右下角的那些点来说,用绿色线模型时,它的左上角的值小于0,右下角的值大于0,越往右值越大,考虑右下角的这些点的话,用绿线对应的模型在做回归时,它的输出会远远大于1,但是因为已经给所有点打上,-1,1,的标签,训练中希望这些点在模型中的输出都接近于1(接近真值),那些远远大于1的点,他们对于绿线模型来说是error,是不好的,所以这组样本点通过回归训练出来的模型,会是紫色的分界线对应的模型,相对于绿线,它可以减少右下角带来的error。回归的输出是一个连续型的值,而分类的输出是离散性的值,在训练中很难找到一个回归的函数使得大部分样本点的输出都集中在某几个离散的点的附近,因此回归定义的模型对分类问题不适用。
对于多分类问题把类别1标记为1,类别2标记为2,类别3标记为3,这种方法对于回归来说,会认为类别1和类别2的关系比较近,类别2和类别3的关系比较近,而类别1和类别3的关系比较疏远,但是当这些类别间没有什么特殊关系的时候,这样的标签用回归是没有办法得到好的结果的。

Function(model):
分类模型
如图:分类模型的大致定义。
损失函数:
损失函数可以定义为:分类模型
即这个模型在所有训练集上预测的错误的次数,就是分类错误的次数,错误次数越少,这个函数表现越好。

生成模型(概率分布)
分类模型
先验概率(prior):
P(C1)和P(C2)称作先验概率。类别1发生概率类别2发生概率。
假设一个样本的分布属于高斯分布
高斯分布:μ表示均值,Σ表示方差,两者都是矩阵
分类模型
同样的Σ,不同的μ,概率分布最高点的地方是不一样的。
分类模型
同理,如果是同样的μ,不同的Σ,概率分布最高点的地方一样但是分布的密集程度是不一样的。
找出高斯函数的办法是估计出高斯的均值μ和协方差Σ即可。
估计μ和Σ的方法就是极大似然估计,找出最特殊的那对μ和Σ,从他们共同决定的高斯函数中采样,使得得到的分布情况与已知分布情况最接近。μ表示高斯的中心点,Σ表示高斯的分散程度。
分类模型
事实上,任意的μ和Σ都可以选样出跟当前分布一样的样本点,但是我们要找出概率最大的那个高斯函数。
极大似然函数分类模型
实际上是该事件发生的概率等于每个点都发生的概率的乘积我们可以利用偏导求取相关的值
分类模型

高斯模型常见的情况

variance是跟输入的feature size的平方成正比,当feature的数量很大的时候,Σ大小的增长是可以非常快,在这种情况下,给不同的高斯函数不同的协方差矩阵会造成模型的参数过多,而参数多会导致模型的方差过大,出现过拟合的现象,因此可以使得不同的高斯共用同一个协方差矩阵,可以有效地减少参数。
分类模型
如上图可以看出,把μ1和μ2共同的Σ一起去构造一个极大似然函数,此时可知,得到的μ1和μ2和原来一样,还是各自的均值,但是Σ则是原先两个Σ的加和。
分类模型
同时上图可以看出,类别1和类别2在没有公用协方差矩阵之前,他们的分界线是一条曲线,如果公用协方差矩阵的话,他们之间的分界线会变成一条值线,这样的模型成为线性模型(尽管高斯不是线性)。

总结

分类的三个步骤
1、建立一个函数(模型)
不同的分布函数会得到不同的function,把这些不同参数的Gaussian distribution集合起来,就是一个model,如果不适用高斯函数而选择其他分布函数,就是一个新的model了。
2、模型的评估
对于高斯分布模型来说,我们需要评价高斯函数形状的均值μ和协方差Σ这两个参数的好坏,而极大似然函数的输出值,评价了这组参数的好坏。
3、找出最好的模型
找到使得极大似然函数最大的那组参数,实际上是所有样本点的均值和方差。
分类模型

标签:

未经允许不得转载:作者:1138-魏同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《分类模型》 发布于2020-11-05

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录