为什么使用交叉熵损失函数 原创

1456-张同学

发表文章数:22

首页 » 数学 » 正文

使用极大似然原理导出交叉熵损失函数减轻了为每个模型设计损失函数的负担,选择了模型p(y|x)明确了损失函数logp(y|x)

损失函数的梯度必须有足够大的预测性,这样才能很好的指导算法的学习。很多输出单元都会包含一个指数函数,当变量取绝对值非常大的负值时函数会变得饱和(函数变得很“平”),函数梯度变得很小,而负的对数似然能够抵消输出单元中的指数效果。(下面的推导过程说明了使用交叉熵损失函数可以抵消sigmoid单元在输入为绝对值很大的负值时出现的梯度很小的情况)

为什么使用交叉熵损失函数                    原创

拜师教育学员文章:作者:1456-张同学, 转载或复制请以 超链接形式 并注明出处 拜师资源博客
原文地址:《为什么使用交叉熵损失函数 原创》 发布于2020-12-09

分享到:
赞(0) 打赏

评论 抢沙发

评论前必须登录!

  注册



长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

Vieu3.3主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录