Teacher Forcing
  LUhtIhwhbFnd 2023年11月01日 34 0

Teacher forcing 是一种序列任务中的技术。它最初提出的动机是使得RNN的训练得以并行,加快模型训练。
简单来说Teacher forcing就是将数据集中的标签作为模型输入。
首先,以RNN为例,介绍Teacher forcing的技术细节。下图为RNN展开的计算图。

如图所示,Teacher forcing在训练时和测试时使用不同的输入。
训练时,使用数据标签作为输入;测试时使用模型的输出作为输入。

但是,在open-loop 模式下,模型在训练时和测试的输入会有较大差异。缓解该问题有如下方法:
(1) 在训练时同时输入真实的数据值(teacher forcing inputs) 和 模型生成的值。
(2) 在训练师随机选择真实的数据值和模型生成的值。

参考: Deep learning

【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

推荐阅读
  yCJS27XXARYK   2024年05月17日   60   0   0 AI综合
LUhtIhwhbFnd
作者其他文章 更多

2023-11-01

2023-11-01