About the Bias of MLE

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

在Cox和Snell(1968: 251-252)的文章裡, 有一段討論MLE的bias,
我在一個地方卡住了, 所以來向大家求解.
(文章名字是 "A General Definition of Residuals" )
                                                                                
以下是文章的節錄, 我盡可能與作者使用相同的符號,
如果仍有模糊不清的地方, 再麻煩大家跟我說, 謝謝.
                                                                                
                                                                                
首先是一些符號定義,
                                                                                
   Pj(Yj,β)是Yj的p.d.f., 以下簡寫為Pj
   L(β) = Σlog(Pj)
   B = β_hat
   U_j = d ㏒(pj)/dβ                          .......文中式11,打不出微分符號,用d代替
  V_j = (d^2)㏒(pj)/d(β^2)             .......文中式11,
   W_j = (d^3)㏒(pj)/d(β^3)
   L'(β) = U = ΣU_j,         從j=1累加至j=n
   L"(β) = V = ΣV_j,         從j=1累加至j=n
   L"'(β) = W = ΣW_j,     從j=1累加至j=n
   I = ΣE(-V_j),                 從j=1累加至j=n
   J = ΣE(U_j, V_j),          從j=1累加至j=n
   K = E(W) = E[L'''(β)]
   B-β = U/I                  ...............文中的式12
   Var(B) = 1/I          ...............文中的式12
                                                                                                                           
因為,    L'(B) = 0
而且,    L'(B) ≒ L'(β) + (B-β)L"(β) + (1/2)[(B-β)^2]L"'(β)
所以,    L'(β) + (B-β)L"(β) + (1/2)[(B-β)^2]L"'(β) ≒ 0     .....文中式13
                                                                                
取期望值後,
   E[L'(β)] + E[(B-β)L"(β)] + E{(1/2)[(B-β)^2]L"'(β)} ≒ 0
   => E(B-β)E[L"(β)]
         + Cov[(B-β), L"(β)]
         + (1/2)E[(B-β)^2]E[L"'(β)]
         + Cov{[(B-β)^2], L"'(β)} ≒ 0                   .....文中式14
                                                                                                                                                               
基於先前的各項定義, 以及,
   E[L"(β)] = ΣE(V_j) = I
                                                                                
   Cov[(B-β), L"(β)] = Cov[(U/I), L"(β)] ≒ (1/I)Cov(U,V)
      = J/I                                                .....文中式15
                                                                                
   E[(B-β)^2] = E[(U/I)^2] ≒ [1/(I^2)]E(U^2)
      = [1/(I^2)]{Var(U) + [E(U)]^2} = [1/(I^2)](I + 0)
      = 1/I
                                                                                
因此式14可寫為,
   E(B-β)(-I) + J/I + (1/2)(K/I) + Cov{[(B-β)^2], L"'(β)} ≒ 0
   => E(B-β) ≒ J/(I^2) + K/[2(I^2)] + Cov{[(B-β)^2], L"'(β)}
                                                                    
然而作者卻說,
   E(B-β) ≒ J/(I^2) + K/[2(I^2)]
                                                                                
我想請問為什麼Cov{[(B-β)^2], L"'(β)}不見了? 是不是因為作者說的這段話:
                                                                                
  "Finally, a calculation similar to (15) shows that
   the final term in (14) is O(n^-1), whence (14) gives (Bartlett, 1952),
   for the terms of order 1, E(B-β) = J/(I^2) + K/[2(I^2)] "
                                                                                
目前我的理解是因為Cov{[(B-β)^2], L"'(β)}是O(n^-1),
所以當n極大時, 這個Cov項極小, 進而以被忽略.
不知道這個理解正不正確?
如果是錯的, 麻煩大家解答一下, 非常感謝.

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：About Bout abo IAS The General 文章