以下是引用sungmoo在2009-3-21 20:32:00的发言:
可给出推导过程?
网上介绍推导过程比较困难,数学式不易写出,估计其他网友也不感兴趣,下面我只做简介吧。
先接46楼的的内容,再论熵定义。
熵的定义:对于实验S,设互不相容的任何微观事件的集合为U,关于集合U不确定测度用H(U)表示。我们就称H(U)为U的熵。
对于泛函H(U)的具体表达式,由一系列的假设推出。例如在信息论中,H(U)是等概率的连续随机事件的增函数,熵以统计泛函的形式给出。
最大熵原理:指在约定条件下使熵H(U)达到最大值。在统计力学方面已经有多种具体形式。
根据概率公理我们可以证明下列一组假定成立,给出一个H(U)的具体表达式:
1,H(U)是P(i)=P(A)的连续函数。P(A)是事件A的概率,可以解释为对A的一个测度。
2,若P(1)=…=P(n)=1/n,则H(U)是n的增函数。
3,如果有一个新的互不相容事件集合B是U中的子集,则H(B)≥H(U)。则可以证明下列关系成立:
H(U)=P(1)=-P(1)logP(1)-…-P(n)logP(n)
以上关系式就是熵的具体定义。
[这个定义引自Athanasios Papoulis,S.Unnikrishna Pillai《概率、随机变量与随机过程》第511页。中译本,西安交大出版社。]