以下是引用sungmoo在2009-3-18 18:45:00的发言:到现在为止,楼主从来没有真正正面回答过一个问题。
关于熵的理论源于对热能的研究。有个叫克劳修斯的德国人,在1850年发现冷热变化的一种规律。热总是从高温物体传到低温物体;热不能自动从低温物体传向高温物体;热量逐渐地消失并越来越均匀地分布,其离散程度有最大可能的值。教科书把这些话定义为热力学第二定律。克劳修斯借希腊文造了entropie这个词,来说明热力学第二定律的数学式。1923年吴刚复教授用中文火加商造了“熵”这个汉字。火是热现象,商是数学含义的除所得的值。商加火旁组成了“熵”字,形象的表示了熵是热力学第二定律的状态函数。热力学第二定律称为熵增加原理,简称熵定律。
1877年伟大的玻尔兹曼首次用热力学概率来表示熵。因为人们发现热实质是大量分子的无序运动变化,其微观状态数的大小正比例熵值。
1948年,在贝尔实验室工作的香农提出了信息熵原理。香农革命性的贡献在于利用概率论表述了信息熵的准确定义,加深了人们对熵的理解。
用概率论来表述熵,超越了热力学的范筹。熵成为系统内部无序化混乱程度的度量。它是系统微观状态总概率的函数。任何孤立或开放系统内部微观状态的概率总和等于熵。若各微观状态的概率相等,微观状态总数就等于熵。按照概率论公理,随机变动的概率总是趋于最大概率,因而最大的微观状态数,在等概率的条件下,就是最大的熵。
概率论公理揭示的科学定理不仅反映了创造宇宙的方法,而且还确定了宇宙变化过程的方向。它反映了最根本的自然规律。