Expectation Maximization,EM算法是带有隐变量的概率模型参数的极大似然估计(MLE为给定参数,观测数据出现/生成的可能性)。
如下为《统计机器学习》中对应EM算法的笔记。
![0](http://dev-img.mos.moduyun.com/20231008/6fa4b5af-9f91-4fb2-8df8-67faeeec2aef.png)
- 观测数据Y和隐变量X合称,完全数据
- 观测数据Y称,不完全数据
![0](http://dev-img.mos.moduyun.com/20231008/3b9cce84-b3f3-4cba-8f9e-28a533c8b780.png)
E步:(期望步)求Q函数(上一轮参数固定,模型参数为变量的函数),即期望(原始似然函数的下界)
M步:(极大步)求Q函数的局部极值
通过迭代法逐步逼近原始似然函数的解
![0](http://dev-img.mos.moduyun.com/20231008/7966ef8e-7275-4754-8d02-9f63cada669d.png)
![0](http://dev-img.mos.moduyun.com/20231008/2e4a7a17-43ce-4d62-b7b2-4cd0b5dbc0a8.png)
EM算法本质是,有隐变量的似然函数的MLE。通过计算Q函数,得到似然函数的下界,然后最大化下界这一迭代过程,来优化参数。
Q函数本身是一个条件期望。 EM算法就在E步求期望,M步最大化它。