| 一、概念 最大期望算法(Expectation-maximization algorithm,又译期望最大化算法)在统计中被用于寻找,依赖于不可观察的隐性变量的概率模型中,参数的最大似然估计。 二、算法: 1.经过两个步骤交替进行计算: 最大期望算法第一步是计算期望(E),利用对隐藏变量的现有估计值,计算其最大似然估计值; 第二步是最大化(M),最大化在 E 步上求得的最大似然值来计算参数的值。 M 步上找到的参数估计值被用于下一个 E 步计算中,这个过程不断交替进行。 2.总体来说,EM的算法流程如下: 第一步:初始化分布参数 第二步:重复直到收敛: E步骤:估计未知参数的期望值,给出当前的参数估计。 M步骤:重新估计分布参数,以使得数据的似然性最大,给出未知变量的期望估计。 三、算法举例 假设我们估计知道A和B两个参数,在开始状态下二者都是未知的,并且知道了A的信息就可以得到B的信息,反过来知道了B也就得到了A。可以考虑首先赋予A某种初值,以此得到B的估计值,然后从B的当前值出发,重新估计A的取值,这个过程一直持续到收敛为止。 假定集合Z = (X,Y)由观测数据 X 和未观测数据Y 组成,Z = (X,Y)和 X 分别称为不完整数据和完整数据。假设Z的联合概率密度被参数化地定义为P(X,Y|Θ),其中Θ 表示要被估计的参数。Θ 的最大似然估计是求不完整数据的对数似然函数L(X;Θ)的最大值而得到的: L(Θ; X )= log p(X |Θ) = ∫log p(X ,Y |Θ)dY ; EM算法包括两个步骤:由E步和M步组成,它是通过迭代地最大化完整数据的对数似然函数Lc( X;Θ )的期望来最大化不完整数据的对数似然函数,其中: Lc(X;Θ) =log p(X,Y |Θ) ; 假设在算法第t次迭代后Θ 获得的估计记为Θ(t ) ,则在(t+1)次迭代时, E-步:计算完整数据的对数似然函数的期望,记为: Q(Θ |Θ (t) ) = E{Lc(Θ;Z)|X;Θ(t) }; M-步:通过最大化Q(Θ |Θ(t) ) 来获得新的Θ 四、算法问题: 1.容易陷入局部最优 2.没有支持向量机分类算法预测效果好 |


雷达卡



京公网安备 11010802022788号







