softmax交叉熵损失求导
  bVSAspXvuazU 2023年11月02日 42 0


softmax为激活函数,C = softmax(o)为输出,真实标签为y, 用交叉熵作为损失函数L,给出损失函数定义,并且给出损失函数Lo的求导

交叉熵损失函数定义如下:

softmax交叉熵损失求导_深度学习

其中,softmax交叉熵损失求导_算法_02表示真实标签,softmax交叉熵损失求导_损失函数_03表示模型的预测输出,softmax交叉熵损失求导_深度学习_04表示类别数。

假设模型的输出为softmax交叉熵损失求导_机器学习_05,则将softmax交叉熵损失求导_机器学习_05输入softmax函数得到预测输出softmax交叉熵损失求导_损失函数_03

softmax交叉熵损失求导_算法_08

将预测输出softmax交叉熵损失求导_损失函数_03代入交叉熵损失函数中,可得到:

softmax交叉熵损失求导_深度学习_10

接下来,我们对softmax交叉熵损失求导_深度学习_11softmax交叉熵损失求导_算法_12求导数:

softmax交叉熵损失求导_损失函数_13

softmax交叉熵损失求导_深度学习_14时,

softmax交叉熵损失求导_机器学习_15

softmax交叉熵损失求导_ci_16时,

softmax交叉熵损失求导_损失函数_17

因此,

softmax交叉熵损失求导_损失函数_18

综上所述,我们可以使用交叉熵损失函数和softmax作为激活函数,并且可以使用上述公式计算梯度,以便进行反向传播和模型参数更新。

接着上面的假设,若 :
softmax交叉熵损失求导_算法_19
那么根据链式法则,损失Lp的求导结果为

softmax交叉熵损失求导_深度学习_20

损失Lb的求导结果为
softmax交叉熵损失求导_ci_21


【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

推荐阅读
  QL8BnSL91Ugt   2023年11月02日   48   0   0 IPhtmlciIPhtmlci
bVSAspXvuazU