机器学习算法进阶——决策树、随机森林

1237-曾同学

发表文章数:45

热门标签

首页 » 算法 » 正文

手写理论

机器学习算法进阶——决策树、随机森林机器学习算法进阶——决策树、随机森林机器学习算法进阶——决策树、随机森林机器学习算法进阶——决策树、随机森林机器学习算法进阶——决策树、随机森林机器学习算法进阶——决策树、随机森林
【CART classification & regression tree】
机器学习算法进阶——决策树、随机森林【决策树示意图】
机器学习算法进阶——决策树、随机森林

决策树

条件熵

推导条件熵的定义式
机器学习算法进阶——决策树、随机森林机器学习算法进阶——决策树、随机森林

熵越大,不确定性越大。某件事情发生的概率为1或者为0,那这个事件的熵为0。
从上到下建立一个熵不断减小的树。

P

(

Y

X

)

=

P

(

X

Y

)

P

(

X

)

P(Y|X)=/frac{P(X|Y)}{P(X)}

P(YX)=P(X)P(XY)

条件熵:H(X|Y)-H(X)
●(X,Y)发生所包含的熵,减去X单独发生包含的熵:在X发生的前提下,Y发生“新”带来的熵
●该式子定义为X发生前提下,Y的熵:条件熵 H(Y|X)

相对熵

【互信息】
●两个随机变量X,Y的互信息,定义为X,Y的联合分布和独立分布乘积的相对熵。

I

(

X

,

Y

)

=

D

(

P

(

X

,

Y

)

P

(

X

)

P

(

Y

)

)

I(X,Y)=D(P(X,Y)||P(X)P(Y))

I(X,Y)=D(P(X,Y)P(X)P(Y))

I

(

X

,

Y

)

=

x

,

y

p

(

x

,

y

)

l

o

g

p

(

x

,

y

)

p

(

x

)

p

(

y

)

I(X,Y)=/sum_{x,y}p(x,y)log/frac{p(x,y)}{p(x)p(y)}

I(X,Y)=x,yp(x,y)logp(x)p(y)p(x,y)

交叉熵:可以度量两个随机变量的“距离”
●相对熵,又称互熵,交叉熵,鉴别信息,Kullback熵,Kullback-leible散度等。
●设p(x),p(y)是X中的两个概率分布,则p对q的相对熵是

D

(

p

q

)

=

x

p

(

x

)

l

o

g

p

(

x

)

q

(

x

)

=

E

p

(

x

)

l

o

g

p

(

x

)

q

(

x

)

D(p||q)=/sum_xp(x)log/frac{p(x)}{q(x)}=E_{p(x)}log/frac{p(x)}{q(x)}

D(pq)=xp(x)logq(x)p(x)=Ep(x)logq(x)p(x)
机器学习算法进阶——决策树、随机森林

决策树学习算法的特点

机器学习算法进阶——决策树、随机森林
【决策树学习的生成算法】
机器学习算法进阶——决策树、随机森林

信息增益/信息增益率/基尼系数

机器学习算法进阶——决策树、随机森林
【基本记号】
机器学习算法进阶——决策树、随机森林【信息增益的计算方法】
机器学习算法进阶——决策树、随机森林【经验条件熵】
机器学习算法进阶——决策树、随机森林【其他目标】
机器学习算法进阶——决策树、随机森林PS:基尼系数越小表示集合中被选中的样本被错分的概率越小,也就是说集合的纯度越高。基尼系数越小,数据的不确定性越小,基尼系数为0,数据集中所有样本都是同一类别。

【三种决策树算法】
机器学习算法进阶——决策树、随机森林

决策树的评价

机器学习算法进阶——决策树、随机森林【决策树的过拟合】
机器学习算法进阶——决策树、随机森林

Bagging策略

机器学习算法进阶——决策树、随机森林【OOB数据】
机器学习算法进阶——决策树、随机森林

随机森林(Random Forest)

机器学习算法进阶——决策树、随机森林

样本不均衡的常用处理方法:

机器学习算法进阶——决策树、随机森林

使用RF计算样本间相似度

【使用RF计算样本间相似度】
机器学习算法进阶——决策树、随机森林【使用RF计算特征重要度】
机器学习算法进阶——决策树、随机森林

孤立森林 Isolation Forest:异常检测

机器学习算法进阶——决策树、随机森林

未经允许不得转载:作者:1237-曾同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《机器学习算法进阶——决策树、随机森林》 发布于2020-11-22

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录