机器学习之主题模型 原创

1280-金同学

发表文章数:53

首页 » 算法 » 正文

一、主题模型基础相关分布

Beta分布
机器学习之主题模型
                    原创
Beta分布期望求解
机器学习之主题模型
                    原创
共轭先验分布
机器学习之主题模型
                    原创
Dirichlet分布:
机器学习之主题模型
                    原创
Dirichlet分布的期望
机器学习之主题模型
                    原创
对称Dirichlet分布
机器学习之主题模型
                    原创

二、LDA模型

LDA模型解释样例图
机器学习之主题模型
                    原创
LDA解释:
共有m篇文章,一共涉及了K个主题;
每篇文章(长度为N m )都有各自的主题分布,主题分布是多项分布,该多项分布的参数服从Dirichlet分布,该Dirichlet分布的参数为α;
每个主题都有各自的词分布,词分布为多项分布,该多项分布的参数服从Dirichlet分布,该Dirichlet分布的参数为β ;
对于某篇文章中的第n个词,首先从该文章的主题分布中采样一个主题,然后在这个主题对应的词分布中采样一个词。不断重复这个随机生成过程,直到m篇文章全部完成上述过程。
LDA详细解释
机器学习之主题模型
                    原创
图中K为主题个数,M为文档总数,Nm是第m个文档的单词总数。β是每个Topic下词的多项分布的Dirichlet先验参数,α是每个文档下Topic的多项分布的Dirichlet先验参数。zmn是第m个文档中第n个词的主题,wmn是m个文档中的第n个词。两个隐含变量θ和φ分别表示第m个文档下的Topic分布和第k个Topic下词的分布,前者是k维(k为Topic总数)向量,后者是v维向量(v为词典中term总数)
LDA参数学习
给定一个文档集合,w mn 是可以观察到的已知变量,α和β是根据经验给定的先验参数,其他的变量z mn 、θ、φ都是未知的隐含变量,需要根据观察到的变量来学习估计的。根据LDA的图模型,可以写出所有变量的联合分布:
机器学习之主题模型
                    原创
LDA似然函数:
机器学习之主题模型
                    原创

未经允许不得转载:作者:1280-金同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《机器学习之主题模型 原创》 发布于2020-11-26

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录