1. 概念
概率:概率模型关心的是一个多维的概率分布
图:即图论的图,起的作用为一个工具,直观表达概率之间的联系,将概率嵌入图中,使得模型更加直观,可以将概率模型的特征明显表示出来。
对于多维随机变量\(p(x_1, \dots, x_p)\), 常用计算为求边缘概率与条件概率,即有如下运算
- Sum Rule
\[p(x_1) = \int_{x_2} \dots \int_{x_p} p(x_1, \dots, x_p) dx_2 \dots dx_p \]
- Product Rule
\[p(x_1|x_2) = \frac{p(x_1, x_2)}{p(x_2)} \]
- Chain Rule
\[p(x_1, \dots, x_p) = p(x_1) p(x_2|x_1) \dots p(x_p|x_1, \dots, x_{p-1}) \]
- Bayes' Rule
\[p(x_1|x_2) = \frac{p(x_2|x_1)p(x_1)}{p(x_2)} = \frac{p(x_2|x_1)p(x_1)}{\int p(x_2|x_1)p(x_1)dx_1} \]
困境:对于多维随机变量,计算\(p(x_1, \dots, x_p)\)计算量太大,要简化计算
简化 1:每个随机变量之间相互独立,即有\(p(x_1, \dots, x_p) = \prod_{i=1}^{p} p(x_i)\)
- Naive Bayes 假设所有特征之间条件独立,即有\(p(x_1, \dots, x_p|y) = \prod_{i=1}^{p} p(x_i|y)\)
简化 2(Markov Property):给定当前状态,未来状态与过去状态无关,即有\(p(x_k | x_1, \dots x_{k-1},x_{k+1},\dots, x_{p}) = p(x_k | x_{k-1})\)
- HMM 隐马尔科夫模型,使用齐次马尔可夫假设
简化 3(条件独立性假设):给定隐变量,观测变量之间相互独立,即有\(p(x_1, \dots, x_p|z) = \prod_{i=1}^{p} p(x_i|z)\),是马尔可夫性质的推广
- Representation
- 有向图 Bayesian Network
- 无向图 Markov Network
- 高斯图 Gaussian Network(BN MN)
- Inference(给定已知数据,求另外的概率分布)
- Exact Inference
- Approximate Inference
- 确定性近似(变分推断)
- 随机近似 MCMC
- Learning
- Parameter Learning
- 完备数据
- 隐变量
- Structure Learning
- Parameter Learning
2. Bayesian Network(有向图模型)
使用条件独立性,将联合概率分解为多个条件概率的乘积,即有
构建图,使用Topological Order,若有\(X \rightarrow Y\),则有\(p(Y|X)\),那么从图上即可以得到联合概率分布。
Local Structure
注意,接下来的情况是规律,是从图与概率的关系得出的。
- tail to tail
若有三个随机变量\(A, B, C\)满足 chain rule,即\(p(A,B.C) = p(A) p(B|A) p(C|A,B)\),同时有如下图
根据图写出关系,有\(p(A,B,C) = p(A) p(B|A) p(C|A)\)
则有\(p(C|A,B) = p(C|A)\),其中\(p(C|A,B) = \frac{p(B,C|A)}{P(B|A)}\)
表明\(C\)与\(B\)条件独立。
- head to tail
\(A\) 与 \(C\) 在 \(B\) 条件下独立,即\(p(C|A,B) = p(C|B)\)
- head to head
默认情况下,\(A\) 独立于 \(B\)
若\(C\)被观测,\(A\) 与 \(B\) 有关系。
可得默认情况下,\(A\) 与 \(B\) 独立。
Representation: D - Separation
在图中判断节点集合的条件独立性,使用 D-separation 规则。
D-separation 有两个规则
- 若有节点\(x_b\)作为跨点连接\(A\)与\(C\),并形成 head to tail 或者 tail to tail 结构,那么\(x_b\) 一定在\(B\)集合中
- 若有节点\(x_b\)作为跨点连接\(A\)与\(C\),并形成 head to head 结构,那么\(x_b\) 一定不在\(B\)集合中
依次检测所有跨点,若都满足,那么\(A\) 与 \(C\) 条件独立。
这种判断规则也叫全局马尔可夫性。
Representation: Sample
从单一到混合、从有限到无限
-
Naive Bayes
贝叶斯网络最简单的模型graph TD y --> x1 y --> x2 y --> x3 -
GMM
graph LR z --> x其中 \(z\) 是离散的,\(x|z \to \mathcal{N}\)