【学习笔记】吴军信息论40讲（17） 昨日阅读2小时，累计阅读382小时 第三十六 ...

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

吴军信息论40讲（17）
昨日阅读2小时，累计阅读382小时
第三十六讲 最大熵原理

当我们要对一个随机概率事件的概率分布进行预测时，我们的预测应该满足所有已知条件，而对未知条件不要进行任何主观假设

老子的说法就是过犹不及，就是把信息使用的刚刚好。

最大熵原理的好处：模型最光滑，不会遇到黑天鹅事件，一个光滑的模型可以让预测的风险最小。

最大熵原理的弊端：计算量太大


如果你获得了全部的信息就不用预测了，事件是确定的了

没有得到信息之前不要做任何预测

不要把鸡蛋放到一个篮子里，要让凡事变得平滑


第三十七讲 麦克斯韦的妖

物理学上熵永远是朝着增加的方向变化的，也就是分子的不确定性越来越大

信息的获取本身需要能量

一个地区和组织也一样，只有引入负熵，才可能让系统通过外界交换变得更加有序，也就是朝着越来越好的方向变化。

引入负熵的办法，一是直接与外界进行人的交换，二是接收外界的新思想

人一旦封闭起来离无序的状态就不远了

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：学习笔记 信息论 习笔记 黑天鹅事件 不确定性

学习笔记奖！