VAE是AE的变体。主要目的是让模型学习数据的分布，最后让解码器(decoder)部分具有生成样本的能力。VAE可看做高斯混合模型(GMM)的扩展。GMM中，数据由多个高斯分布来描述: \[p(x)=\sum_{k=1}^{K}P(z_{k})P(x|z_{k})\] 其中$z\simP(z^{k})$,\(x|z^{k}\simN(\mu^{k},\sigma^{k})\)此处，高斯分布的数量是有限的。 因此，这种编码方式编码能力有限。因此需要对这种方式拓展为连续编码。 \[p(x)=\int_{z}p(x|z)p(z)dz\] 其中\(z\simN(0,1),x|z\sim...

Teacherforcing是一种序列任务中的技术。它最初提出的动机是使得RNN的训练得以并行，加快模型训练。简单来说Teacherforcing就是将数据集中的标签作为模型输入。首先，以RNN为例，介绍Teacherforcing的技术细节。下图为RNN展开的计算图。 如图所示，Teacherforcing在训练时和测试时使用不同的输入。训练时，使用数据标签作为输入；测试时使用模型的输出作为输入。 但是，在open-loop模式下，模型在训练时和测试的输入会有较大差异。缓解该问题有如下方法：(1)在训练时同时输入真实的数据值(teacherforcinginputs)和模型生成的值。(2)在...