分类算法-朴素贝叶斯算法

1122-张同学

发表文章数:33

首页 » 算法 » 正文

朴素贝叶斯:

1.概率基础

联合概率: 包含多个条件,且所有条件同时成立的概率
记作:𝑃(𝐴,𝐵)

条件概率: 就是事件A在另外一个事件B已经发生条件下的发生概率
记作:𝑃(𝐴|𝐵)

特性:P(A1,A2|B) = P(A1|B)P(A2|B)
注意:此条件概率的成立,是由于A1,A2相互独立的结果

2.利用朴素贝叶斯划分文档类型

朴素:特征独立
贝叶斯公式:
分类算法-朴素贝叶斯算法
注:w为给定文档的特征值(频数统计,预测文档提供),c为文档类别

公式可以理解为:
分类算法-朴素贝叶斯算法
其中c可以是不同类别

公式分为三部分:

  • 𝑃(𝐶):每个文档类别的概率(某文档类别词数/总文档词数)

  • 𝑃(𝑊│𝐶):给定类别下特征(被预测文档中出现的词)的概率

  • 计算方法:𝑃(𝐹1│𝐶)=𝑁𝑖/𝑁 (训练文档中去计算)
    𝑁𝑖为该𝐹1词在C类别所有文档中出现的次数
    N为所属类别C下的文档所有词出现的次数和

𝑃(𝐹1,𝐹2,…) 预测文档中每个词的概率

分类算法-朴素贝叶斯算法
拉普拉斯平滑:
问题:从上面的例子我们得到娱乐概率为0,这是不合理的,如果词频列表里面有很多出现次数都为0,很可能计算结果都为零

解决方法:
加拉普拉斯平滑系数

𝑃(𝐹1│𝐶)=(𝑁𝑖+𝛼)/(𝑁+𝛼𝑚)

𝛼为指定的系数一般为1,m为训练文档中统计出的特征词个数

sklearn朴素贝叶斯的实现API:
sklearn.naive_bayes.MultinomialNB

sklearn.naive_bayes.MultinomalNB(alpha=1.0)
#朴素贝叶斯分类
#alpha:拉普拉斯平滑系数,防止分类时候某类概率为0

3.朴素贝叶斯算法案例

  • sklearn20类新闻分类
  • 20个新闻组数据集包括了20个主题的18000个新闻组帖子

朴素贝叶斯案例流程
1、加载20类新闻数据,并进行分割

2、生成文章特征词(做完特征抽取后,每篇文章变成一个重要性列表)

3、朴素贝叶斯estimator流程进行预估


from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report






def naviebayes():
    """
    朴素贝叶斯进行文本分类
    :return: None
    """
    news = fetch_20newsgroups(subset='all')#获取数据

    # 进行数据分割
    x_train, x_test, y_train, y_test = train_test_split(news.data, news.target, test_size=0.25)#利用train_test_split
    # 进行数据分割,特征值news.data, 目标值news.target, 测试集的大小test_size=0.25


    # 对数据集进行特征抽取
    tf = TfidfVectorizer()

    # 以训练集当中的词的列表进行每篇文章重要性统计['a','b','c','d']
    x_train = tf.fit_transform(x_train)

    # print(tf.get_feature_names())

    x_test = tf.transform(x_test)#根据对之前部分trainData进行fit的整体指标,对测试的数据(testData)使用同样的均值、方差、最大最小值等指标进行转换transform(testData),从而保证train、test处理方式相同。

    # 进行朴素贝叶斯算法的预测
    mlt = MultinomialNB(alpha=1.0)

    print(x_train.toarray())

    mlt.fit(x_train, y_train)

    y_predict = mlt.predict(x_test)

    print("预测的文章类别为:", y_predict)

    # 得出准确率
    print("准确率为:", mlt.score(x_test, y_test))

    print("每个类别的精确率和召回率:", classification_report(y_test, y_predict, target_names=news.target_names))

    return None
if __name__ == "__main__":
    naviebayes()

运行结果:
分类算法-朴素贝叶斯算法

优缺点:

优点:

  • 朴素贝叶斯模型发源于古典数学理论,有稳定的分类效率。

  • 对缺失数据不太敏感,算法也比较简单,常用于文本分类。

  • 分类准确度高,速度快

缺点:

  • 需要知道先验概率P(F1,F2,…|C),因此在某些时候会由于假设的先验模型的原因导致预测效果不佳。(如假设了文章中一些词语和另外一些是独立没关系的的)
    是在训练集中进行统计的词语,如果有许多词语比较多的文档,就会造成干扰。

分类模型的评估

estimator.score()
一般最常见使用的是准确率,即预测结果正确的百分比

混淆矩阵:
在二分类任务下,预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合,构成混淆矩阵(适用于多分类)
分类算法-朴素贝叶斯算法
精确率:预测结果为正例样本中真实为正例的比例(查得准)

召回率:真实为正例的样本中预测结果为正例的比例(查的全,对正样本的区分能力)
分类模型评估API:sklearn.metrics.classification_report

sklearn.metrics.classification_report(y_true, y_pred, target_names=None)

y_true:真实目标值

y_pred:估计器预测目标值

target_names:目标类别名称

return:每个类别精确率与召回率

分类算法-朴素贝叶斯算法

模型的选择与调优

交叉验证

交叉验证: 将拿到的数据,分为训练和验证集。以下图为例:将数据分成5份,其中一份作为验证集。然后经过5次(组)的测试,每次都更换不同的验证集。即得到5组模型的结果,取平均值作为最终结果。又称5折交叉验证。

分类算法-朴素贝叶斯算法

超参数搜索-网格搜索

通常情况下,有很多参数是需要手动指定的(如k-近邻算法中的K值),这种叫超参数。但是手动过程繁杂,所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建立模型。

超参数搜索-网格搜API:sklearn.model_selection.GridSearchCV

sklearn.model_selection.GridSearchCV(estimator, param_grid=None,cv=None)
对估计器的指定参数值进行详尽搜索

estimator:估计器对象
param_grid:估计器参数(dict){“n_neighbors”:[1,3,5]}
cv:指定几折交叉验证
fit:输入训练数据
score:准确率
结果分析:
best_score_:在交叉验证中测试的最好结果
best_estimator_:最好的参数模型
cv_results_:每次交叉验证后的测试集准确率结果和训练集准确率结果

未经允许不得转载:作者:1122-张同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《分类算法-朴素贝叶斯算法》 发布于2020-11-24

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录