NLP(11): 词性标注实战

1411-李同学

发表文章数:148

首页 » 算法 » 正文

词性标注 Pos Tagging

1、introduction

每一行的单词对应它的词性
NLP(11): 词性标注实战
学习如何把一个句子中的每个单词进行标记
NLP(11): 词性标注实战

  • noisy channel model:
    argmaxP(z|s)=p(s|z)p(z)=p(w1w2w3…wn|z1z2z3…zn)p(z1z2…zn)

NLP(11): 词性标注实战

  • 前半部分:给定一个词性,出现该词的概率
  • 后半部分:biagram prob

目的:找到最好的z,使得在给定s下,词性的概率最大
NLP(11): 词性标注实战
加入log

需求:求出三个部分的概率:

  • step 1: compute A,B,PI
  • step 2:Viterbi algorithm

对于优化z中的参数解释:

将词性的序列对应隐状态序列,将词序列对应观测序列

  • p

    (

    w

    i

    z

    i

    )

    p(w_i|z_i)

    p(wizi): 从隐状态转移到观测序列的概率

  • p(z): 初始概率
  • p

    (

    z

    t

    z

    t

    1

    )

    p(z_t|z_{t-1})

    p(ztzt1)从t-1时刻的状态转移到t时刻的概率,在这里代表不同词性在文章中的关系

NLP(11): 词性标注实战
给定条件:每一个时刻的词的出现只与当前的词性相关。
假设:

w

i

w_i

wi当前词只依赖于当前的词性

z

i

z_i

zi

NLP(11): 词性标注实战

未经允许不得转载:作者:1411-李同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《NLP(11): 词性标注实战》 发布于2021-02-09

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录