引言

上一节介绍了尝试使用极大似然估计求解高斯混合模型的模型参数，但无法求出解析解。本节将介绍使用EM算法求解高斯混合模型的模型参数。

回顾：高斯混合模型及模型参数

令$\mathcal{X}$表示观测数据(Observed Data)，共包含$N$个样本点，并假设 任意样本之间独立同分布：
X = { x ( 1 ) , x ( 2 ) , ⋯   , x ( N ) } x ( i ) ∼ i.i.d. x ( j ) ( x ( i ) , x ( j ) ∈ X ; i ≠ j ) mathcal X = {x^{(1)},x^{(2)},cdots, x^{(N)}} \ x^{(i)} overset{ ext{i.i.d.}}{sim}x^{(j)} quad (x^{(i)},x^{(j)} in mathcal X;i eq j) X={x(1),x(2),⋯,x(N)}x(i)∼i.i.d.x(j)(x(i),x(j)∈X;i=j)
任意一个样本点$x^{(i)}$均对应一个隐变量$z^{(i)}$。从样本数量角度观察，隐变量集合$\mathcal{Z}$表示如下：
Z = { z ( 1 ) , z ( 2 ) , ⋯   , z ( N ) } mathcal Z = {z^{(1)},z^{(2)},cdots,z^{(N)}} Z={z(1),z(2),⋯,z(N)}
称$(\mathcal{X},\mathcal{Z})$为完整数据(Complete Data)，样本数量角度表示如下：
$$(\mathcal{X},\mathcal{Z})=\{(x^{(1)},z^{(1)}),\cdots ,(x^{(N)},z^{(N)})\}$$
从变量分布的角度观察，隐变量$\mathcal{Z}$是基于$\mathcal{K}$个参数的离散分布，各参数及对应概率分布表示如下：

并满足：
$$\sum _{k=1}^{\mathcal{K}}{p}_k=1$$
任意$z_j\in \mathcal{Z}$均唯一对应一个高斯分布。换句话说，给定隐变量标签$z_j\in \mathcal{Z}$的条件下，$z_j$标签下的样本数据$x$服从高斯分布。因而共包含$\mathcal{K}$个高斯分布：

数学符号表达即：
$$P(\mathcal{X}\mid \mathcal{Z}=z_k)\sim \mathcal{N}(\mathcal{X}\mid {\mu }_k,{\Sigma }_k)(k=1,2,\cdots ,\mathcal{K})$$
因此，高斯混合模型的概率模型$P(\mathcal{X})$表达如下：
$$\begin{array}{rl}P(\mathcal{X})& =\sum _{\mathcal{Z}}P(\mathcal{X}\mid \mathcal{Z}=z_k)P(\mathcal{Z}=z_k)\\ & =\sum _{k=1}^{\mathcal{K}}\mathcal{N}(\mathcal{X}\mid {\mu }_k,{\Sigma }_k)\cdot p_k\end{array}$$
概率模型的模型参数$\theta$表示如下：
θ = { p 1 , ⋯   , p K , μ 1 , ⋯   , μ K , Σ 1 , ⋯   , Σ K } heta = {p_1,cdots,p_{mathcal K},mu_1,cdots,mu_{mathcal K},Sigma_1,cdots,Sigma_{mathcal K}} θ={p1​,⋯,pK​,μ1​,⋯,μK​,Σ1​,⋯,ΣK​}

回顾：狭义EM算法

EM算法是求解概率模型$P(\mathcal{X}\mid \theta )$模型参数的一种方法，它的底层是极大似然估计，它的迭代求解公式具体表示如下：
$$\begin{array}{rl}{\theta }^{(t+1)}& =\underset{\theta }{\mathrm{argmax}}{\int }_{\mathcal{Z}}\log P(\mathcal{X},\mathcal{Z}\mid \theta )\cdot P(\mathcal{Z}\mid \mathcal{X},{\theta }^{(t)})d\mathcal{Z}\\ & =\underset{\theta }{\mathrm{argmax}}{\mathbb{E}}_{\mathcal{Z}\mid \mathcal{X},\theta }\left[\log P(\mathcal{X},\mathcal{Z}\mid \theta )\right]\end{array}$$
基于上述公式，可以将EM算法分成两个步骤：

• E步(Expection-Step)：令$E_{\mathcal{Z}\mid \mathcal{X},\theta }\left[\log P(\mathcal{X},\mathcal{Z}\mid \theta )\right]$表示为 关于$\theta ,{\theta }^{(t)}$的函数。则有：
  $$\mathcal{L}(\theta ,{\theta }^{(t)})={\int }_{\mathcal{Z}}\log P(\mathcal{X},\mathcal{Z}\mid \theta )\cdot P(\mathcal{Z}\mid \mathcal{X},{\theta }^{(t)})d\mathcal{Z}$$
• M步(Maximization-Step)：基于E步操作，选择合适的$\theta$，使得$\mathcal{L}(\theta ,{\theta }^{(t)})$最大。
  $${\theta }^{(t+1)}=\underset{\theta }{\mathrm{argmax}}\mathcal{L}(\theta ,{\theta }^{(t)})$$

E步、M步交替进行，最终迭代收敛至最优解(至少局部最优)。

使用EM算法求解高斯混合模型参数

场景整理

EM算法中符号表示与高斯混合模型中的符号表示 对比如下：
等号左端是‘EM算法’的符号表示；等号右端是‘高斯混合模型’的符号表示。
$$\begin{array}{rl}P(\mathcal{X},\mathcal{Z}\mid \theta )& =P(\mathcal{Z}=z_j)\cdot P(\mathcal{X}\mid \mathcal{Z}=z_j)\\ & =p_{\mathcal{Z}}\cdot \mathcal{N}(\mathcal{X}\mid {\mu }_{\mathcal{Z}},{\Sigma }_{\mathcal{Z}})\\ & =\prod _{i=1}^N{p}_{z^{(i)}}\cdot \mathcal{N}(x^{(i)}\mid {\mu }_{z^{(i)}},{\Sigma }_{z^{(i)}})\\ P(\mathcal{Z}\mid \mathcal{X},\theta )& =\frac{P(\mathcal{X},\mathcal{Z})}{P(\mathcal{X})}\\ & =\frac{{\prod }_{i=1}^N{p}_{z^{(i)}}\cdot \mathcal{N}(x^{(i)}\mid {\mu }_{z^{(i)}},{\Sigma }_{z^{(i)}})}{{\sum }_{k=1}^{\mathcal{K}}{p}_k\cdot \mathcal{N}(\mathcal{X}\mid {\mu }_k,{\Sigma }_k)}\end{array}$$

求解过程(E步过程)

• 已知$\mathcal{L}(\theta ,{\theta }^{(t)})$函数表示如下：
  $$\mathcal{L}(\theta ,{\theta }^{(t)})={\int }_{\mathcal{Z}}\log P(\mathcal{X},\mathcal{Z}\mid \theta )\cdot P(\mathcal{Z}\mid \mathcal{X},{\theta }^{(t)})d\mathcal{Z}$$

• 将$P(\mathcal{X},\mathcal{Z}\mid \theta ),P(\mathcal{Z}\mid \mathcal{X},\theta )$代入上式：
  由于‘高斯混合模型’隐变量$\mathcal{Z}$是离散型参数，因而将$\int$符号改为$\sum$符号，并且各样本之间服从’独立同分布‘。
  $$\sum _{\mathcal{Z}}\log \prod _{i=1}^{N}P(x^{(i)},z^{(i)}\mid \theta )\cdot \prod _{i=1}^{N}P(z^{(i)}\mid x^{(i)},{\theta }^{(t)})$$

• 将$\log {\prod }_{i=1}^{N}P(x^{(i)},z^{(i)}\mid \theta )$进行变换，并将${\sum }_{\mathcal{Z}}$展开：
  $$\sum _{z^{(1)},z^{(2)},\cdots ,z^{(N)}}\sum _{i=1}^N\log P(x^{(i)},z^{(i)}\mid \theta )\cdot \prod _{i=1}^{N}P(z^{(i)}\mid x^{(i)},{\theta }^{(t)})$$
  关于${\sum }_{z^{(1)},z^{(2)},\cdots ,z^{(N)}}$这个形式 需要解释一下，我们之前并没有讨论过$z^{(i)}(i=1,2,\cdots ,N)$到底是什么，只是知道每个样本下$x^{(i)}$均对应一个隐变量$z^{(i)}$。

  $z^{(i)}$不是一个具体数值，而是一个向量。它表示样本$x^{(i)}$“可能属于的高斯分布”所组成的向量。示例：
  依然假设样本空间内一共包含$\mathcal{K}$个高斯分布，样本$x^{(1)}$对应的隐变量$z^{(1)}$表示如下：
  $$z^{(1)}=(z_1^{(1)},z_2^{(1)},\cdots ,z_{\mathcal{K}}^{(1)}{)}^T$$
  其中，$z_k^{(1)}(k=1,2,\cdots ,\mathcal{K})$表示 样本$x^{(1)}$可能属于编号为$k$的高斯分布。注意，$z_k^{(1)}$只表示高斯分布的编号(或者称为离散参数)，它不表示概率。 它是如何表示概率的？结果如下表：

  $z^{(1)}$	$z_1^{(1)}$	$z_2^{(1)}$	$\cdots$	$z_{\mathcal{K}}^{(1)}$
  $P(z^{(1)})$	$p_1^{(1)}$	$p_2^{(1)}$	$\cdots$	$p_{\mathcal{K}}^{(1)}$

  $p_j^{(i)}$是样本点$x^{(i)}$指向编号为$z_j$的隐变量对应的高斯分布$\mathcal{N}({\mu }_j,{\Sigma }_j)$的概率，而$P(z^{(i)})$表示$\mathcal{K}$个概率结果组成的向量。用数学语言表达即：
  $$\begin{gathered} p_j^{(i)}=P(x^{(i)}\to z_j)=P(x^{(i)}\in \mathcal{N}({\mu }_j,{\Sigma }_j)) \\ P(z^{(i)})=(p_1^{(i)},p_2^{(i)},\cdots ,p_{\mathcal{K}}^{(i)}{)}^T \end{gathered}$$
  同样存在这种现象的不仅仅是概率，还有均值、协方差：

  • ${\mu }_{z^{(i)}}$表示样本点$x^{(i)}$对应在$\mathcal{K}$个高斯分布上的期望结果组成的向量：
    $${\mu }_{z^{(i)}}=({\mu }_1^{(i)}，{\mu }_2^{(i)},\cdots ,{\mu }_{\mathcal{K}}^{(i)}{)}^T$$
  • ${\Sigma }_{z^{(i)}}$表示样本点$x^{(i)}$对应在$\mathcal{K}$个高斯分布上的协方差结果组成的向量：
    $${\Sigma }_{z^{(i)}}=({\Sigma }_1^{(i)}，{\Sigma }_2^{(i)},\cdots ,{\Sigma }_{\mathcal{K}}^{(i)}{)}^T$$

  由于${\sum }_{i=1}^N\log P(x^{(i)},z^{(i)}\mid \theta )$中隐变量的形式是$z^{(i)}(i=1,2,\cdots ,N)$而不是$z_j(j=1,2,\cdots ,\mathcal{K})$因此对${\sum }_{\mathcal{Z}}$的展开不是${\sum }_{z_1,z_2,\cdots ,z_{\mathcal{K}}}$而是${\sum }_{z^{(1)},z^{(2)},\cdots ,z^{(N)}}$。

• 继续将${\sum }_{i=1}^N\log P(x^{(i)},z^{(i)}\mid \theta )$展开，展开结果如下：
  $$\begin{array}{rl}\mathcal{L}(\theta ,{\theta }^{(t)})& =\sum _{z^{(1)},z^{(2)},\cdots ,z^{(N)}}\left[\log P(x^{(1)},z^{(1)}\mid \theta )+P(x^{(2)},z^{(2)}\mid \theta )+\cdots +P(x^{(N)},z^{(N)}\mid \theta )\right]\cdot \prod _{i=1}^{N}P(z^{(i)}\mid x^{(i)},{\theta }^{(t)})\\ & =\left[\sum _{z^{(1)},z^{(2)},\cdots ,z^{(N)}}\log P(x^{(1)},z^{(1)}\mid \theta )\prod _{i=1}^{N}P(z^{(i)}\mid x^{(i)},{\theta }^{(t)})\right]+\cdots +\left[\sum _{z^{(1)},z^{(2)},\cdots ,z^{(N)}}\log P(x^{(N)},z^{(N)}\mid \theta )\prod _{i=1}^{N}P(z^{(i)}\mid x^{(i)},{\theta }^{(t)})\right]\end{array}$$

• 基于上述结果，仅观察第一项：
  $$\sum _{z^{(1)},z^{(2)},\cdots ,z^{(N)}}\log P(x^{(1)},z^{(1)}\mid \theta )\prod _{i=1}^{N}P(z^{(i)}\mid x^{(i)},{\theta }^{(t)})$$
  观察${\prod }_{i=1}^{N}P(z^{(i)}\mid x^{(i)},{\theta }^{(t)})$，发现只有第一项$P(z^{(1)}\mid x^{(1)},{\theta }^{(t)})$和$z^{(1)}$相关；因此，将上式表示为如下形式：
  $$\begin{array}{rl}& \sum _{z^{(1)},z^{(2)},\cdots ,z^{(N)}}\log P(x^{(1)},z^{(1)}\mid \theta )\cdot P(z^{(1)}\mid x^{(1)},{\theta }^{(t)})\prod _{i=2}^{N}P(z^{(i)}\mid x^{(i)},{\theta }^{(t)})\\ & =\sum _{z^{(1)}}\left[\log P(x^{(1)},z^{(1)}\mid \theta )\cdot P(z^{(1)}\mid x^{(1)},{\theta }^{(t)})\right]\cdot \sum _{z^{(2)},\cdots ,z^{(N)}}\left[\prod _{i=2}^{N}P(z^{(i)}\mid x^{(i)},{\theta }^{(t)})\right]\end{array}$$
  观察${\sum }_{z^{(2)},\cdots ,z^{(N)}}\left[{\prod }_{i=2}^{N}P(z^{(i)}\mid x^{(i)},{\theta }^{(t)})\right]$，它可以展开成如下形式：
  $$\begin{array}{rl}\sum _{z^{(2)},\cdots ,z^{(N)}}\left[\prod _{i=2}^{N}P(z^{(i)}\mid x^{(i)},{\theta }^{(t)})\right]& =\sum _{z^{(2),\cdots ,z^{(N)}}}\left[P(z^{(2)}\mid x^{(2)},{\theta }^{(t)})\times \cdots \times P(z^{(N)}\mid x^{(N)},{\theta }^{(t)})\right]\\ & =\sum _{z^{(2)}}P(z^{(2)}\mid x^{(2)},{\theta }^{(t)})\times \cdots \times \sum _{z^{(N)}}P(z^{(N)}\mid x^{(N)},{\theta }^{(t)})\end{array}$$
  上述结果的任意一项${\sum }_{z^{(j)}}P(z^{(j)}\mid x^{(j)},{\theta }^{(t)})(j=2,\cdots ,N)$都是 基于离散型变量的概率密度积分，因此则有：
  $$\begin{gathered} \sum _{z^{(2)}}P(z^{(2)}\mid x^{(2)},{\theta }^{(t)})=\cdots =\sum _{z^{(N)}}P(z^{(N)}\mid x^{(N)},{\theta }^{(t)})=1 \\ \sum _{z^{(2)},\cdots ,z^{(N)}}\left[\prod _{i=2}^{N}P(z^{(i)}\mid x^{(i)},{\theta }^{(t)})\right]=1\times \cdots \times 1=1 \end{gathered}$$
  因此，被观察的第一项 结果如下：
  $$\begin{array}{rl}& \sum _{z^{(1)},z^{(2)},\cdots ,z^{(N)}}\log P(x^{(1)},z^{(1)}\mid \theta )\prod _{i=1}^{N}P(z^{(i)}\mid x^{(i)},{\theta }^{(t)})\\ & =\sum _{z^{(1)}}\left[\log P(x^{(1)},z^{(1)}\mid \theta )\cdot P(z^{(1)}\mid x^{(1)},{\theta }^{(t)})\right]\cdot 1\\ & =\sum _{z^{(1)}}\left[\log P(x^{(1)},z^{(1)}\mid \theta )\cdot P(z^{(1)}\mid x^{(1)},{\theta }^{(t)})\right]\end{array}$$

• 基于上一步骤，$\mathcal{L}(\theta ,{\theta }^{(t)})$可表示为如下形式：
  $$\begin{array}{rl}\mathcal{L}(\theta ,{\theta }^{(t)})& =\sum _{z^{(1)}}\left[\log P(x^{(1)},z^{(1)}\mid \theta )\cdot P(z^{(1)}\mid x^{(1)},{\theta }^{(t)})\right]+\cdots +\sum _{z^{(N)}}\left[\log P(x^{(N)},z^{(N)}\mid \theta )\cdot P(z^{(N)}\mid x^{(N)},{\theta }^{(t)})\right]\\ & =\sum _{i=1}^N\sum _{z^{(i)}}\left[\log P(x^{(i)},z^{(i)}\mid \theta )\cdot P(z^{(i)}\mid x^{(i)},{\theta }^{(t)})\right]\end{array}$$
  将场景整理中的对应结果代入，有：
  关于$P(z^{(i)}),{\mu }_{z^{(i)}},{\Sigma }_{z^{(i)}}$详见上面黄色字解释。
  $$\mathcal{L}(\theta ,{\theta }^{(t)})=\sum _{i=1}^N\sum _{z^{(i)}}\log P(z^{(i)})\cdot \mathcal{N}(x^{(i)}\mid {\mu }_{z^{(i)}},{\Sigma }_{z^{(i)}})\cdot \frac{P(z^{(i)})\cdot \mathcal{N}(x^{(i)}\mid {\mu }_{z^{(i)}},{\Sigma }_{z^{(i)}})}{{\sum }_{k=1}^{\mathcal{K}}{p}_k\cdot \mathcal{N}(x^{(i)}\mid {\mu }_k,{\Sigma }_k)}$$

至此，使用EM算法对高斯混合模型求解过程的E步求解完毕，下一节将介绍M步的求解过程。

p.s.这节视频中符号表示的信息确实很复杂，要多想~

相关参考：
机器学习-高斯混合模型(3) -EM求解-E-step