|
因此,有必要假设,尽管概率分布不可观测,但分析人员最终可以通过其矩的经验知识(或通常,通过一般函数的预期值的知识;矩是多项式的预期值)来恢复概率分布。那么,问题是:鉴于对其全部或部分矩的了解,有没有办法找到基本随机变量概率分布的一般形式?最大熵原理(Maxent)为这个问题提供了一个具体的答案。Maxentasserts:给定一个有限的状态空间Ohm, 中的概率分布Ohm 这将最大化熵,并满足以下m<卡(Ohm) 约束条件,给定Ohm, fk(x)和固定数字fk:hfk(x)i:=Xx∈OhmP(x)fk(x)=fk,k=1,2,···,m(2)以及一个归一化条件:h1i:=Xx∈OhmP(x)=1(3)2015年12月2日MV19˙cont˙20150923is:P(x)=Z(λ,λ,···,λm)exp-mXi=1λifi(x)!(4) 其中Z称为配分函数:Z(λ,λ,···,λm)=XOhm经验-mXi=1λifi(x)!(5) 拉格朗日乘子λi是通过反转以下m方程组得到的:Fk=hfk(x)i=- 对数Z(λ,λ,···,λm) λk,k=1,2,···,m(6)Maxent背后的直觉是P(x)是分析师可以得出的“最佳”概率分布,假设所有关于手头问题的经验证据都总结为函数的预期值(分别是fk数和fk(x)函数)。期望值取(未知)概率分布P(x)。附录A进一步讨论了上述主张。通常情况下,虽然给定系统的“真实”概率分布未知,但一些约束条件自然是已知的。
|