离散信源的信息量_离散信源的熵_离散信源的分类

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

离散信源的信息量_离散信源的熵_离散信源的分类

离散信源的信息量

　　离散信源产生的消息状态是可数的或者离散的，离散消息中所包含的信息的多少(即信息量)应该怎么样来衡量呢?

　　经验告诉人们，当某个消息出现的可能性越小的时候，该消息所包含的信息量就越多。消息中所包含的信息的多少与消息出现的概率密切相关。

　　为此，哈特莱首先提出了信息的度量关系。

　　对于离散消息xi来讲，其信息量I可表示为

　　其中，p(xi)表示离散消息xi出现的概率。

　　根据a的取值不同，信息量的单位也不同。当a取2时，信息量的单位为比特(bit)；当a取e时，信息量的单位为奈特；当a取10时，信息量的单位为哈特莱。通常口的取值都是2，即用比特作为信息量的单位。

离散信源的熵

　　当离散消息中包含的符号比较多时，利用符号出现概率来计算该消息中的信息量往往是比较麻烦的。为此，可以用平均信息量(H)来表征，即

　　其中，m表示消息中的符号个数。

离散信源的分类

　　根据输出符号问的依赖关系，离散信源可以分为无记忆信源和有记忆信源，输出符号间相互独立的称为无记忆信源，而输出符号之间具有相关性的，称为有记忆信源。最简单的无记忆信源的例子就是掷骰子试验，其中每次抛掷结果都独立于其他抛掷结果。如果骰子是均匀的，那么我们就认为每次抛掷出现某点数的概率是相等的，即等于1／6。有记忆信源的最典型的例子就是自然语言。例如，书写的文章或讲话中每一个词或字、字母都和它前后的符号有关。最简单的有记忆信源就是马尔可夫信源，自然语言可以用马尔可夫信源近似。

　　统计特性不随时问起点改变的信源称为平稳信源，反之称为非平稳信源。

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：离散信源的信息量 离散信源的分类 离散信源的熵 信息量 自然语言 离散信源的信息量 离散信源的熵 离散信源的分类