NLP 2.6 HMM介绍,viterbi算法,F/B算法以及隐变量模型

1411-李同学

发表文章数:148

首页 » 算法 » 正文

1、时序模型

非时序类数据:

  • 图片
  • 一个人的特征
    时序类数据:沿着时间的维度变化的,长度是不确定的
  • 股票价格
  • 语音
  • 文本
  • 温度的变化

2、一些时序模型

  • HMM/CRF:传统模型
  • RNN/LSTM

3、HMM的介绍 Hidden Markov Model

  • 状态序列 latent variable
  • 观测序列 observed
    NLP 2.6 HMM介绍,viterbi算法,F/B算法以及隐变量模型

4、HMM的应用举例

4.1 仍不均匀硬币

NLP 2.6 HMM介绍,viterbi算法,F/B算法以及隐变量模型

  • 初始概率分布
  • 观测概率分布
  • 状态转移概率分布

4.2 词性标注

每一个单词都是一个观测值,它的隐状态就是对应的词性。当前时刻的隐状态由上一时刻的隐状态决定。

NLP 2.6 HMM介绍,viterbi算法,F/B算法以及隐变量模型

4.3 语音识别

5、HMM的参数

  • pi:初始概率分布:初始状态的概率, 离散型
  • B:观测概率分布:从当前隐状态转移到观测的概率, 对于连续的值,使用GMM
  • A:状态转移概率分布:从当前状态转移到下一个状态的概率

6、 Two major tasks

  • 给定模型的参数,找出合适的z: Inference/decoding: viterbi 算法解决
  • 估计模型的参数

    θ

    /theta

    θ
    1、 complete case,给定观测序列,给定状态序列
    2、incomplete case:给定观测序列,状态序列未知:使用EM算法

7、 HMM的inference问题

Finding best Z
NLP 2.6 HMM介绍,viterbi算法,F/B算法以及隐变量模型

7.1 Naive approach

直接罗列出所有可能的结果,计算似然概率
NLP 2.6 HMM介绍,viterbi算法,F/B算法以及隐变量模型

7.2 Viterbi: 本质是一个动态规划的算法

每一个zi只会和前一个z有联系。

NLP 2.6 HMM介绍,viterbi算法,F/B算法以及隐变量模型

8、F/B Algorithm forward & backward

NLP 2.6 HMM介绍,viterbi算法,F/B算法以及隐变量模型

NLP 2.6 HMM介绍,viterbi算法,F/B算法以及隐变量模型
NLP 2.6 HMM介绍,viterbi算法,F/B算法以及隐变量模型

  • F/B:估计模型的参数 pi, A,B

NLP 2.6 HMM介绍,viterbi算法,F/B算法以及隐变量模型

8.1 Forward algorithm

目标计算:

P

(

z

k

x

1

:

k

)

P(z_k|x_{1:k})

P(zkx1:k)

NLP 2.6 HMM介绍,viterbi算法,F/B算法以及隐变量模型
初始化:
NLP 2.6 HMM介绍,viterbi算法,F/B算法以及隐变量模型

8.2 Backward 算法

NLP 2.6 HMM介绍,viterbi算法,F/B算法以及隐变量模型

9 隐变量模型和EM算法—— Latent Variable model and EM

9.1 Data Representation: 数据的表示

NLP 2.6 HMM介绍,viterbi算法,F/B算法以及隐变量模型
PCA降维

9.2 Latent Variable models:生成模型 generative model

  • 隐状态:可以是离散的也可以是连续的,未知的
  • 观测值:由隐变量生成的,已知的

观测到的图片,由若干隐状态生成,性别,头发颜色,姿势。
NLP 2.6 HMM介绍,viterbi算法,F/B算法以及隐变量模型

生成模型:LDA,GAN,VAE

10、complete vs incomplete case

  • complete case: (z,x)is observable
  • incomplete case:(x) is observable,z is unobservable

NLP 2.6 HMM介绍,viterbi算法,F/B算法以及隐变量模型

未经允许不得转载:作者:1411-李同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《NLP 2.6 HMM介绍,viterbi算法,F/B算法以及隐变量模型》 发布于2021-02-16

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录