因此,有必要假设,尽管概率分布不可观察,但分析人员最终可以通过其矩的经验知识(或通常,通过对一般函数的期望值的知识;矩是多项式的期望值)来恢复概率分布。那么,问题是:鉴于对其全部或部分矩的了解,是否有办法找到基本随机变量概率分布的一般形式?最大熵原理(Maxent)为这个问题提供了一个具体的答案。Maxentasserts:给定有限状态空间Ohm, 中的概率分布Ohm 最大化熵并满足以下m<卡(Ohm) 约束条件,给定中的m个不同函数Ohm, fk(x),固定数字fk:hfk(x)i:=Xx∈OhmP(x)fk(x)=fk,k=1,2,···,m(2)以及归一化条件:h1i:=Xx∈OhmP(x)=1(3)2015年12月2日MV19(续)20150923is:P(x)=Z(λ,λ,···,λm)exp-mXi=1λifi(x)!(4) 其中Z称为配分函数:Z(λ,λ,···,λm)=XOhm经验值-mXi=1λifi(x)!(5) 拉格朗日乘子λi可通过以下m方程组求出:Fk=hfk(x)i=- 对数Z(λ,λ,···,λm) λk,k=1,2,···,m(6)Maxent背后的直觉是P(x)是分析员可以得出的“最佳”概率分布,假设关于手头问题的所有经验证据都总结为函数的期望值(分别是fk数和fk(x)函数)。期望值接管(未知)概率分布P(x)。附录A进一步讨论了上述主张。通常情况下,虽然给定系统的“真实”概率分布未知,但一些约束条件自然是已知的。
|