公式(9)中的l(θ)-l(θn)满足如下关系：  进而有：
 图2 l(θ)和φ(θn,θ)关系图
可见l(θ)的下界为φ(θn,θ)，φ(θn,θ)值越大， l(θ)的下界也将越大(其中的θn为已知变量)，具体l(θ)和φ(θn,θ)的关系可从图2可看出：φ(θn,θ)增长的方向也是l(θ)增长的方向，也就是任意增长φ(θn,θ)值的θ，都将使l(θ)下界增大，从而迭代使l(θ)逼近理想值。当然，在此最好的φ(θn,θ)值的θ便是，max(φ(θn,θ))处的θ，计算如下：
 这样，迭代求θ的方法就显而易见了：
随机初始化θ0。
1、求条件期望F(θ,θn)，如上公共所示；
2、求F(θ,θn)的极值处θn+1。
3、反复迭代1，2计算，直到θn收敛，即|θn+1-θn|<α(收敛条件)。
这样，EM算法就完全解决了鸡和蛋的问题了，至于初始化条件可以是鸡(θ0)，也可以是蛋(z0)。
PS：EM算法的敛散性，由计算中的下界迭代，可很清晰的看到，EM算法收敛，但可能收敛于局部最优解，证明不述。
4 缺失数据问题 可以说EM算法天生就是用来解决缺失数据的问题的，将第3节的隐变量z看成是数据中缺失的数据即可。
在完全数据X(无缺失数据)下，知模型为f(x|θ)，求数据满足何种模型？这可以由第1节的极大似然估计求解；如果采样数据存在部分未知Z，预测这些含未知的数据的数据符何什么模型？这就可借用第3节的EM算法了，先随机假设θ0，迭代求解，最后求知f(x|θ)，当然也就可出了z。
5 高斯混合模型 暂不述，直接为EM算法的应用。 |
