求取$\mu_{zx}$

$\mu_{zx}$是$x,z$联合分布的期望值（期望的定义：所有结果*相应概率的总和）：

$$\mu_{zx}=E\left[ \begin{matrix}z\\x \end{matrix}\right]=\left[ \begin{matrix}E(z)\\E(x) \end{matrix}\right]\tag{4}$$

由$z$~$N(0,I)$我们可以简单获得$E(z)=0$。
类似地由$\varepsilon$~$N(0,\psi)$，$x=\mu+\Lambda z+\varepsilon$，$\mu$是一个常数，我们有：

$$\begin{align} E[x]&=E[\mu+\Lambda z+\varepsilon]\\ &=E[\mu]+\Lambda E[z]+E[\varepsilon]\\ &=\mu+0+0\\ &=\mu \tag{5} \end{align}$$
所以：

$$\mu_{zx}=\left[ \begin{matrix}\vec 0\\\mu \end{matrix}\right]\tag{6}$$

求取$\Sigma$

$\Sigma$是$x,z$联合分布的协方差矩阵。
方差，度量随机变量与期望之间的偏离程度，定义如下：

$$Var(X)=E((X-E(X))^2)=E(X^2)-(E(X)^2)\tag{7}$$
协方差，两个变量总体误差的期望，定义如下：

$$Cov(X,Y)=E((X-E(X))(Y-E(Y)))\tag{8}$$
协方差、方差、期望之间的一些相互关系如下：

$$Cov(X,X)=Cov(X)=Var(X)=E(XX^T)=\sigma^2\tag{9}$$

下面开始求取$\Sigma$。

$$\begin{align} \Sigma&=Cov\left[ \begin{matrix}z\\x \end{matrix}\right]\\ &=\left[ \begin{matrix}\Sigma_{zz}&\Sigma_{zx}\\\Sigma_{xz}&\Sigma_{xx} \end{matrix}\right]\\ &=E\left[ \begin{matrix}(z-E(z))(z-E(z))^T& (z-E(z))(x-E(x))^T \\(x-E(x))(z-E(z))^T&(x-E(x))(x-E(x))^T \end{matrix}\right] \tag{10} \end{align}$$

由$z$~$N(0,I)$，可以简单得到：

$$\Sigma_{zz}=Cov(z)=\sigma^2=I\tag{11}$$
由 $\varepsilon$~ $N(0,\psi)$， $x=\mu+\Lambda z+\varepsilon$， $E(x)=\mu$，并且 $z$和$\varepsilon$是相互独立，有：

$$\begin{align} \Sigma_{zx}&=E[ (z-E(z))(x-E(x))^T]\\ &=E[(z-0)(\mu+\Lambda z+\varepsilon-\mu)^T]\\ &=E[zz^T]\Lambda^T+E[z\varepsilon^T]\\ &=I\Lambda^T+0\\ &=\Lambda^T \tag{12} \end{align}$$
类似地，我们可以得到：

$$\begin{align} \Sigma_{xx}&=E[ (x-E(x))(x-E(x))^T]\\ &=E[(\mu+\Lambda z+\varepsilon-\mu)(\mu+\Lambda z+\varepsilon-\mu)^T]\\ &=\Lambda E[zz^T]\Lambda^T+E[\varepsilon\varepsilon^T]\\ &=\Lambda I\Lambda^T + \psi\\ &=\Lambda \Lambda^T + \psi \tag{13} \end{align}$$

用最大似然估计法求解参数

经过上面的步骤，我们就把$\mu_{zx},\Sigma$用我们的参数$\mu,\Lambda,\psi$表示出来了：

$\left[ \begin{matrix}z\\x \end{matrix}\right]$~ $N(\mu_{zx},\Sigma)$~ $N(\left[ \begin{matrix}\vec 0\\\mu \end{matrix}\right],\left[ \begin{matrix}I&\Lambda^T\\\Lambda&\Lambda \Lambda^T + \psi \end{matrix}\right])$
然后我们可以求得 $x$的边缘分布：
$x$~ $N(\mu,\Lambda \Lambda^T + \psi)$
因此，给定一个训练集 $\begin{Bmatrix} x^{(i)};i=1,2,\cdots,m \end{Bmatrix}$，把参数带入式（3），我们可以写出下面的似然函数：