深度学习
阶跃函数 标签描述

哈夫曼树Huffmantree一句话解释,哈夫曼树将一个softmax的多分类问题转换成了多个logistic的二分类问题以连续词袋模型(CBOW)为例,输入多个词向量,输出层则输出最可能的w,最简的实现自然是softmax,但为了计算难度,使用哈夫曼树简化计算pwp^wpw为从根节点到词汇w叶子节点对应的路径djw{d_j^w}djw表示pwp^wpw中第j个节点对应的编码,而θ1w\theta^w_1θ1w表示路径pwp^wpw中的参数向量根据上述定义,我们可以写出基于HierarchicalSoftmax优化的连续词袋模型(CBOW)的条件概率:p(w∣context(w))=∏j=1I...