EMAlgorithm 1.GMM引入 若数据服从一个高斯分布，可以用MLE+偏导为0的方法求解参数，其中框架如下 \[\theta=\{\mu,\Sigma\}=\arg\max_{\theta}\sum_{i=1}^N\logp(x_i|\theta)\] 而由于单个高斯分布概率密度函数为convex，因此整体的似然函数也是convex的，梯度为0点即为最优解。 然而，若数据服从多个高斯分布，densityfunction为 \[p(x)=\sum_{k=1}^K\alpha_k\mathcal{N}(x|\mu_k,\Sigma_k)\\\quads.t.\sum_{k=1}...

1.概念 概率：概率模型关心的是一个多维的概率分布 图：即图论的图，起的作用为一个工具，直观表达概率之间的联系，将概率嵌入图中，使得模型更加直观，可以将概率模型的特征明显表示出来。 对于多维随机变量\(p(x_1,\dots,x_p)\),常用计算为求边缘概率与条件概率，即有如下运算 SumRule \[p(x_1)=\int_{x_2}\dots\int_{x_p}p(x_1,\dots,x_p)dx_2\dotsdx_p\] ProductRule \[p(x_1|x_2)=\frac{p(x_1,x_2)}{p(x_2)}\] ChainRule \[p(x_1,\dots,...

1.Background 频率派：定义lossfunction并进行优化贝叶斯派：计算后验概率，使用数值积分的方式计算 2.HMM HMM是一个属于概率图模型中的动态模型(ref:概率图模型)，并不要求数据是独立同分布的，又是一个混合模型 HMM中的变量可以分为两组，一组为状态变量\(y=\{y_1,\dots,y_n\}\)，其中\(y_i\)表示第i时刻状态，一组为观测变量\(x=\{x_1,\dots,x_n\}\)，状态变量是隐藏的，观测变量是可见的，因此状态变量又被称作隐变量。 系统常在多个状态中转移，如果状态变量是离散的，那么动态模型就为HMM，如果状态变量是连续的，那么动态模型就...

神经网络——从PLA到BP神经网络 0.推荐阅读 B站白板推导系列二十三（没有任何数学推导，能够看得很舒服） 李沐-动手学深度学习 1.感知机学习算法(PerceptronLearningAlgorithm) 相信能看到神经网络的朋友对于机器学习的基础算法已经了解了个大概了，如果你没有听说过感知机算法，那么你可以将它简单理解为你很熟悉的一个算法的弱化版：支持向量机。 感知机学习算法的原始形态就是对于一个线性可分二分类类别标签，如何找出一个分离超平面去区分这两类数据。 说人话：对于二维坐标轴上的一堆散点，你能不能找出来一条线，依据类别标签把它们分成两类。 假设输入空间\(X=\{(x_1,x_2...