Varitional Inference

1. 变分推断

1.1 相对熵

相对熵（relative entropy），又称为Kullback-Leibler散度，用来衡量两个概率分布之间的差异程度，非对称。

设 $P(x)$，$Q(x)$ 是随机变量 $X$ 上的两个概率分布，则在离散和随机变量情形下，定义如下

$$KL(P||Q) = \sum P(x) \log {P(x) \over Q(x)} \tag{2.1}$$

$$KL(P||Q) = \int P(x) \log {P(x) \over Q(x)} \tag{2.2}$$

且 $KL(P||Q) \ge 0$.

1.2 Evidence Lower Bound

elob

2. 参数估计

参数估计

2.1 平均场

平均场方法