机器学习之EM算法

1280-金同学

发表文章数:53

热门标签

,
首页 » 算法 » 正文

一、EM算法理解基础
Jensen不等式:
机器学习之EM算法
机器学习之EM算法
机器学习之EM算法
机器学习之EM算法
机器学习之EM算法
由此可得:
机器学习之EM算法
相关问题:随机变量无法直接(完全)观察到:
随机挑选10000位志愿者,测量他们的身高,若样本中存在男性和女性,身高分别服从N(μ 1 ,σ 1 )和N(μ 2 ,σ 2 )的分布,试估计μ 1 ,σ 1 ,μ 2 ,σ 2
理解猜测GMM的参数估计:
随机变量X是有K个高斯分布混合而成,取各个高斯分布的概率为π 1 π 2 … π K ,第i个高斯分布的均值为μ i ,方差为Σ i 。若观测到随机变量X的一系列样本x 1 ,x 2 ,…,x n ,试估计参数π,μ,Σ
目标函数建立:
对数似然函数:
机器学习之EM算法
估算数据来自哪个组分:
机器学习之EM算法
估算每个组份的参数:
对于所有的样本点,对于组份k而言,可看做生成了 这些点。组份k是
一个标准的高斯分布,利用上面的结论:
机器学习之EM算法

二、EM算法

EM算法:
机器学习之EM算法
最大似然估计建立目标函数:
机器学习之EM算法
z是隐随机变量,不方便直接找到参数估计。计算策略:计算l(θ)下界,求该下界的最大值;重复该过程,直到收敛到局部最大值;
Jensen不等式:
机器学习之EM算法
机器学习之EM算法
EM算法整体架构:
机器学习之EM算法
E-step:
机器学习之EM算法
M-step:
机器学习之EM算法
均值求偏导:
机器学习之EM算法
多项分布参数:
考察M-step的目标函数,对于φ,删除常数项:
机器学习之EM算法
由于多项分布的概率和为1,建立拉格朗日方程:
机器学习之EM算法

未经允许不得转载:作者:1280-金同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《机器学习之EM算法》 发布于2020-11-16

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录