做似然估计时，Log likelihood为负是否正常？

通常如果是离散型的随机变量, 则似然函数就是分布律的乘积，从而是在(0,1)之间的数, 但是如果是连续型的随机变量的话, 就不一定了, 因为这时的似然函数是密度函数的乘积， 而密度函数不一定是在(0,1)之间的; 当然, log-likelihood是似然函数的对数, 可能出现正值, 也可能出现负值. 最主要的是, 在使用时要看清楚.

ls是高手啊，就是有正有负，要看变量类型！

liyyu 发表于 2005-4-28 11:23
用状态空间模型做似然估计时，Log likelihood为负是否正常（红色部分）？有什么含义？请指教
具体输出如下：
Sspace: SSS1   
Method: Maximum likelihood (Marquardt)   
Date: 04/21/05   Time: 00:15   
Sample: 1989 2004   
Included observations: 16   
Valid observations: 9   
Estimation settings: tol= 0.00010, derivs=accurate numeric   
Initial Values: C(1)=-0.70131, C(2)=-0.64202, C(3)=-0.27113, C(4)=   
        -0.54477, C(5)=93.3475, C(6)=224.718   
User prior mean: SVEC0   
User prior variance: SVAR0   
Convergence achieved after 41 iterations   
   
       Coefficient Std. Error z-Statistic Prob.  
   
C(1) -0.389615 0.400720 -0.972288 0.3309
C(2) -0.602883 0.204864 -2.942848 0.0033
C(3) -0.177088 0.370944 -0.477399 0.6331
C(4) -0.510974 0.090720 -5.632460 0.0000
C(5) 4.500000 6.868143 0.655199 0.5123
C(6) 30.17909 13.03786 2.314727 0.0206
   
       Final State Root MSE z-Statistic Prob.  
   
SV1 2.021019 0.699744 2.888224 0.0039
   
Log likelihood  -20.14359      Akaike info criterion  5.809687
Parameters 6                      Schwarz criterion  5.941171
Diffuse priors 0                    Hannan-Quinn criter.  5.525947

By definition the log(L) is negative value so as sum of (Log(L)).

BUT, some software/procedure report 2*log(L), others do -2*log(L).

同问。。。
也遇到过同样的问题~~

这个问题很简单，很显然，似然函数值应当是正的，但是在有的软件中，把似然函数中的正常数部分省略掉了，因而出现了负数。

当然，如果是对数似然，那就得看取值范围了。

再举两个例子


1) 均匀分布密度函数：
f(x) = 1/L   0<=x<=L
0                 otherwise

如果 L<1，f(x)=1/L>1
这样的loglikelihood即为正


2) 正态分布密度函数：
f(x) = 1/sqrt(2\pi)/sigma*exp((x-mu)^2/sigma^2)

如果取mu=0,sigma=0.1
则f(0) = 3.99 > 1



Positive log-likelihood values happen
http://blog.stata.com/2011/02/16 ... hood-values-happen/

likelihood应该肯定是正的，是密度函数的乘积嘛，但是当likelihood比较小时，取了对数就可能是负数了。

那这一取值有什么含义呢？我在做pscore的时候得到的loglikelihood是 -519，是不是不正常？

等结果，咋没了

galilee 发表于 2010-11-18 06:34
log likelihood 应该是负的,如果假设是高斯分布的话.

正解！！高斯模型下的似然估计出来的全是负值，并且是越大越好。