楼主: 胖胖小龟宝
4462 1

[其他] 你知道最大期望算法么? [推广有奖]

已卖:46份资源

大师

21%

还不是VIP/贵宾

-

TA的文库  其他...

龟宝的档案室

威望
3
论坛币
793115 个
通用积分
22228.9852
学术水平
2211 点
热心指数
2133 点
信用等级
1424 点
经验
987178 点
帖子
9996
精华
25
在线时间
4757 小时
注册时间
2012-7-27
最后登录
2020-12-21

楼主
胖胖小龟宝 发表于 2014-8-1 13:38:54 |AI写论文

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
一、概念   
    最大期望算法(Expectation-maximization algorithm,又译期望最大化算法)在统计中被用于寻找,依赖于不可观察的隐性变量的概率模型中,参数的最大似然估计。

二、算法:
    1.经过两个步骤交替进行计算:
    最大期望算法第一步是计算期望(E),利用对隐藏变量的现有估计值,计算其最大似然估计值;
    第二步是最大化(M),最大化在 E 步上求得的最大似然值来计算参数的值。
    M 步上找到的参数估计值被用于下一个 E 步计算中,这个过程不断交替进行。
  
    2.总体来说,EM的算法流程如下:
    第一步:初始化分布参数
    第二步:重复直到收敛:
  
    E步骤:估计未知参数的期望值,给出当前的参数估计。
  M步骤:重新估计分布参数,以使得数据的似然性最大,给出未知变量的期望估计。


三、算法举例
    假设我们估计知道A和B两个参数,在开始状态下二者都是未知的,并且知道了A的信息就可以得到B的信息,反过来知道了B也就得到了A。可以考虑首先赋予A某种初值,以此得到B的估计值,然后从B的当前值出发,重新估计A的取值,这个过程一直持续到收敛为止。

    假定集合Z = (X,Y)由观测数据 X 和未观测数据Y 组成,Z = (X,Y)和 X 分别称为不完整数据和完整数据。假设Z的联合概率密度被参数化地定义为P(X,Y|Θ),其中Θ 表示要被估计的参数。Θ 的最大似然估计是求不完整数据的对数似然函数L(X;Θ)的最大值而得到的:
    L(Θ; X )= log p(X |Θ) = ∫log p(X ,Y |Θ)dY ;

    EM算法包括两个步骤:由E步和M步组成,它是通过迭代地最大化完整数据的对数似然函数Lc( X;Θ )的期望来最大化不完整数据的对数似然函数,其中:
  Lc(X;Θ) =log p(X,Y |Θ) ;

  假设在算法第t次迭代后Θ 获得的估计记为Θ(t ) ,则在(t+1)次迭代时,
  E-步:计算完整数据的对数似然函数的期望,记为:
  Q(Θ |Θ (t) ) = E{Lc(Θ;Z)|X;Θ(t) };
  M-步:通过最大化Q(Θ |Θ(t) ) 来获得新的Θ


四、算法问题:
    1.容易陷入局部最优
    2.没有支持向量机分类算法预测效果好

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:maximization expectation Algorithm 最大似然估计 expect 期望值 模型 统计

沙发
magicsun 发表于 2015-1-11 17:45:36
参数的标准误怎么求?

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注jltj
拉您入交流群
GMT+8, 2025-12-25 18:03