NLP 2.8 Log-linear model 和CRF的预测和参数估计

1411-李同学

发表文章数:148

首页 » 算法 » 正文

1、有向图与无向图模型

NLP 2.8 Log-linear model 和CRF的预测和参数估计

2、有向图和无向图的联合概率

feature function/factor
NLP 2.8 Log-linear model 和CRF的预测和参数估计

成为概率的基本条件:
NLP 2.8 Log-linear model 和CRF的预测和参数估计

z(x):normalization form/partition function

  • 离散性数据:使用viterbi算法求解
  • 连续性:蒙特卡洛算法

3、生成模型和判别模型

NLP 2.8 Log-linear model 和CRF的预测和参数估计

CRF 属于判别模型

4、Log-linear model:一类模型

  • Logistic regression
  • Conditional Random field

4.1 Multinomial Logistic Regression

NLP 2.8 Log-linear model 和CRF的预测和参数估计
NLP 2.8 Log-linear model 和CRF的预测和参数估计

4.2 Feature Function

NLP 2.8 Log-linear model 和CRF的预测和参数估计

5、CRF 介绍

NLP 2.8 Log-linear model 和CRF的预测和参数估计
把整个时序拆分成多个

6、Inference problem

在给定模型参数和观测值x时,预测y

Partition function只依赖于w和x,所以可以在计算y时可以删除

NLP 2.8 Log-linear model 和CRF的预测和参数估计
NLP 2.8 Log-linear model 和CRF的预测和参数估计

7、参数估计——Estimation of W

NLP 2.8 Log-linear model 和CRF的预测和参数估计
NLP 2.8 Log-linear model 和CRF的预测和参数估计
使用前向算法:
NLP 2.8 Log-linear model 和CRF的预测和参数估计
使用后向算法
NLP 2.8 Log-linear model 和CRF的预测和参数估计
只适用于离散型变量
如果是连续性的:使用蒙特卡洛
NLP 2.8 Log-linear model 和CRF的预测和参数估计
NLP 2.8 Log-linear model 和CRF的预测和参数估计

未经允许不得转载:作者:1411-李同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《NLP 2.8 Log-linear model 和CRF的预测和参数估计》 发布于2021-02-17

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录