NLP 2.7使用EM算法估计Pi,A,B

1411-李同学

发表文章数:148

热门标签

, ,
首页 » 算法 » 正文

1、EM 算法

em算法中使用了Jenson 不等式
NLP 2.7使用EM算法估计Pi,A,B
NLP 2.7使用EM算法估计Pi,A,B
NLP 2.7使用EM算法估计Pi,A,B
NLP 2.7使用EM算法估计Pi,A,B
EM derivation 是一个coordinate descent 算法。分别优化隐变量和模型参数。

2、Remarks on EM

  • 无法保证global optimal
  • em增加,一定会收敛

3、k-means 算法

k-means cost function

NLP 2.7使用EM算法估计Pi,A,B
k-means算法是特殊的GMM算法,把每一个样本点当作属于一个独立的分布。

4、MLE for GMM

NLP 2.7使用EM算法估计Pi,A,B

NLP 2.7使用EM算法估计Pi,A,B
在GMM中,一个样本出现的概率是多个高斯分布的叠加概率。
NLP 2.7使用EM算法估计Pi,A,B

5、Complete case/ Incomplete case

NLP 2.7使用EM算法估计Pi,A,B
NLP 2.7使用EM算法估计Pi,A,B

6、EM算法/FB 算法回顾

NLP 2.7使用EM算法估计Pi,A,B
NLP 2.7使用EM算法估计Pi,A,B
通过F/B可以计算任意时刻每个隐状态的概率
NLP 2.7使用EM算法估计Pi,A,B

7、估计Pi

计算t=1时刻的条件概率。再考虑所有的时间序列,计算总数。

NLP 2.7使用EM算法估计Pi,A,B
NLP 2.7使用EM算法估计Pi,A,B

8、估计A

8.1 Review of language model

NLP 2.7使用EM算法估计Pi,A,B
NLP 2.7使用EM算法估计Pi,A,B
NLP 2.7使用EM算法估计Pi,A,B

还要做normalization

NLP 2.7使用EM算法估计Pi,A,B
根据上述推导更新A
NLP 2.7使用EM算法估计Pi,A,B
NLP 2.7使用EM算法估计Pi,A,B

9、 Estimate B

NLP 2.7使用EM算法估计Pi,A,B
NLP 2.7使用EM算法估计Pi,A,B

未经允许不得转载:作者:1411-李同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《NLP 2.7使用EM算法估计Pi,A,B》 发布于2021-02-16

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录