楼主: 商与儒
5169 28

[宏观经济指标] [原创]《概率理论的线性局限——兼论经济学理论的线性局限》 [推广有奖]

21
sungmoo 发表于 2009-5-5 19:32:00
以下是引用商与儒在2009-5-5 10:25:00的发言:事实上“形式逻辑”本身,只是一个人造的“思维工具”(这里不展开了,有兴趣的可以查看我另一个帖子《美国次贷危机的本质和我们的反思》)。它是个线性的工具,因而只用它来建造的所有思维工具(各类学科),都是线性的思维工具。但真实世界是非线性的,人类很快在实践中发现了真实世界的非线性和线性工具的局限性

“非线性”,是否也是人造的“思维工具”?

22
personalzy 发表于 2009-5-5 19:39:00

实践是检验真理的标准,非线性在时间方面更有前途

23
axiomcui 发表于 2009-5-5 23:10:00
这里我觉得楼主的看法或许会很有启发意义,但就你这篇文章看来,你对概率论的批判是不成立的,我们仅仅只能就你的文章而言发表一些看法,换句话说,你的论据不足于支持你的论点,至于论点是不是成立的,这也不是我们可以言谈的,因为你的观点来自于概率论之外,而我们的也仅仅是点出了你引用的例子的不妥当的地方.....本人不排斥你的关于非线性科学的倡导,但你这篇文章则不足于是人信服,呵呵,这是个人浅陋的见解。期待楼主能就你的论点找到你心仪的关于线性科学的局限性的有说服力的例子

24
商与儒 发表于 2009-5-24 22:49:00

谢谢各位回帖!

节假日有点空闲,再补充一些看法,权作对大家回帖的答复。  

  凡是严格遵守形式逻辑的科学,一定是“线性科学”,是离散结构。它对真实世界的连续结构只能是一种“逼近和近似”,在标度、维度、精度、速度、温度……在一定范围变化时,它的“误差”一定会显现。从哲学角度看,真实世界是辨证的,是连续结构,形式逻辑是人造的,是离散结构,离散结构(线性科学)与连续结构(真实世界)之间的矛盾,本质上就是形式逻辑与辩证逻辑之间的矛盾。用线性科学去逼近和近似的分析真实世界,矛盾是一定会显现的!

还是用上面的例子,来具体看看概率理论的局限性:

一、 维度变化:我们给这些小球增加一个正交的特征,就是增加了维度,上面的分析已经告诉我们,概率理论在维度增加时,就会得出自相矛盾的结论。

二、 精度变化:我们给3色的9个小球标上1-9的数字,就是提高了识别的精度。随机摸3球,计算3球都为红色的概率。在精度没有提高时,小球只有颜色作为标识,这个概率为 1/27=3.7%。提高精度后(用数字做标识),基本事件变成了504个,这个概率变成1/84=1.19%了!按理我们不改变小球的颜色、仅仅给小球加上数字标识,是不应该改变摸到3球都为红色的概率的,但是概率理论却明明白白的算出来,两者的概率是不同的,而且差异很大(差了3倍!)!这显然与真实世界的真实情况是相悖的。

三、 标度的变化:我们扩大3色球的标度——再增加9个同样3色的小球,这次用1-18的数字标定这18个3色小球,基本事件就变成了4896个,3球都为红色的概率变成5/204=2.45%。如果再增加9个同样3色的小球,用1-27的数字标定这27个小球,基本事件变成了 17550个,3球同为红色的概率变成了28/975=2.87%。《概率理论》在这里用这些数字明确告诉我们,即使3种颜色的小球同比例增加,随机摸3球都为红色的概率是会变化的。可是我们如果不给这些小球标上数字的话,《概率理论》却会告诉我们,不管可供取样的小球增加多少,只要3种颜色的小球同比例增加,随机摸3球都为红色的概率是不变的!——难道在颜色球上标不标数字会影响摸颜色球时发生的概率?显然不会!

所以我说,线性理论在维度、精度、标度变化时,它的误差会显现——《概率理论》是线性的,一定有它的局限性。

在实际运用概率理论时,人们的线性理解,也会产生错误。譬如《生日悖论》,就是一个延续了几百年的谬误!而且至今还在继续误导全世界的下一代!

《生日悖论》是个有名的《概率理论》的结论。

……略,可参考原帖的相关内容……

我们还可以这样来考察《生日悖论》的结论:假定我们对这个熵最大的系统随机取样24人,他们平均分布在12个月的概率应该是最大,也就是平均一个月分布两个人的概率应该是最大的。两人生日相同的前提是在同一个月里出生,不在同一个月出生的人也可以互相比对生日,但是这个比对的结果是确定的概率为0事件(不可能发生的事件),不能列入基本事件。所以23个人虽然有253次比对生日的机会,实际上其中绝大多数是概率为0 的事件,正是由于大量的非基本事件参与了计算,才会得出那么离谱的结论。

其实这里的关键,就是一个“序”的问题!大家在理解《生日问题》的时候,都把《生日问题》看成是一个没有“序”的问题,因为我们只关心是否有人生日相同,对哪一天发生生日相同事件、这些生日相同事件是如何排列的、或同一天生日的有几个人……等问题,都不关心。所以《生日问题》一直被认为是没有“序”的问题。事实上,《生日问题》有一个严格的“序”的问题!一年的365个生日,就像365个席位,本身是严格排序的,它们之间没有“两两相同”的可能(或者说不存在比对的需要)。我们一旦取样N个人,这N个人每个人占据的席位就是确定的,不会再变动,不是同一个席位的人之间,根本就不存在互相比对生日相同的必要(或者说比对生日是否相同的概率是确定的0)。用这样的思路来分析这个问题,我们就很清楚了,在这里根据《概率理论》做N个人的排列组合后再计算,是错误的!实际上被取样的N个人,并不是围成一群在互相比对生日,而是直奔自己的席位坐下,不同席位的人,根本不存在比对生日的必要(这种比对是确定的概率为0 事件)。实际情况是:取样N个人,只要这N个人中有人坐到了相同的席位上,就发生了生日相同事件,同时,也一定有“空席位”产生,也就是N个人占据了少于N个席位,所以《生日问题》实际上要研究的,就是这N个人坐到自己的席位上以后,占据的席位数与N是否相同,如果N个人占据的席位数小于N个,就一定发生了生日相同的事件。因此,计算取样N个人发生生日相同事件的概率,就是计算N个人应该占据的N个席位中,发生“空席位”的概率是多少。根据这个思路,我做出以下推论:

一、 N个人最多占据N个席位(生日全部不同);

二、 N个人至少占据一个席位(生日全部相同);也就是取样N个人,N个席位中,1个座位不为空是绝对的,是概率为1 的事件。

三、 N个人各取哪一天生日,是完全独立的等价事件,互相没有影响。

四、 N个人应该占据的N个位子,都有发生空席位的可能性,这些席位发生空的可能性,也完全是等价的独立事件,互相没有影响。

五、 所以,取样N个人,发生空席位的可能性为N个,但是根据第二条推论,必须减去1个绝对不为空的席位(我们不关心是哪一个)。因此取样N个人,发生空席位的可能性为:(N-1)个;

六、 由于每个人只能有一个生日,只能占据365个席位中的一个,也就是占据所有席位的1/365。而取样N个人,如果没有生日相同事件发生,N个人一定占据所有席位的N/365;如果有生日相同事件发生,就是有空席位事件发生,N个人发生空席位的可能为(N-1)个,所以取样N个人时,发生(N-1)个空席位的可能占总席位数的(N-1)/365,这就是取样N个人发生生日相同的概率:

P=(N-1)/365

当 N=1时,P=0,没有生日相同的可能发生;

当 N=366时,P=1,发生生日相同的概率为1。

这是个完全线性的公式,适用于任何标度。

我们可以用这个公式和《生日悖论》的公式做些比较:

这个线性的公式告诉我们:

当N= 60 时,发生生日相同事件的概率为16.16%;

当N=100时,发生生生日相同事件的概率为27.1%;

当N=200时,发生生日相同事件的概率为54.52%;

这些结论告诉我们,不要说随机抽取100个人,这些人完全可能均匀的散布在365个席位上,不发生生日相同事件;即使随机抽365个人去坐这365个席位,也有可能正好365个人的生日都不同!

但是《生日悖论》却告诉我们:

当N=60 时,发生生日相同事件的概率为99%;

当N=100时,发生生日相同事件的概率为99.99996%;

当N=200时,发生生日相同事件的概率为0后面29个9!

(因字数超过回帖规定,分两部分写,见谅!)

25
商与儒 发表于 2009-5-24 22:52:00

写到这里,我用下面的分析,来说明一个很重要的概念。

假定取样N个人,我们对最后一个人(N)“入座”前的情况做个分析:

对于任何一次取样,前面(N-1)个人的席位分布只有两种情况:

一、 (N-1)个人之间没有人生日相同,那么他们一定占据了(N-1)个席位,对N来讲,他就有(N-1)个他的席位已经有人坐的可能,所以在这种情况下,第N个人所遇到的发生生日相同的可能(N-1)个,就是取样N个人发生生日相同的可能,因为前面没有发生任何生日相同事件。

二、 在N之前的(N-1)个人当中,可能发生了M次生日相同的事件(M小于等于N-1,那么在这种情况下,他们一定只占据(N-1-M)个席位,于是对N来讲,他就只有(N-1-M)个他的席位已经有人坐的可能,这个可能加上前面的人可能已经发生的M次生日相同事件,取样N个人发生生日相同的可能总数为:[(N-1-M)+M]=(N-1)个,与假定前面没有人生日相同是一样的。

现在我们再来重温一下空席位的概念,就会理解得更清楚了:取样N个人,除了第一个人以外,从第二个人开始,任何人的席位都有可能已经有人坐了,因而有产生空席位的可能。任何一个人在他寻找自己的席位时,不管他有多少个“产生空席位”的可能性,最终坐下后,却只能产生一个空席位,因为一个人只有一个确定的生日。

上面的分析告诉我们一个重要的概念,那就是无论在N之前的(N-1)个人之间有多少个比对生日相同的可能,我们都不必考虑,我们关心的是这些“可能”只能发生多少次生日相同的事件(M次,对N来讲,如果前面的人发生了生日相同事件(M次),那么第N个人发生生日相同的“可能数”,一定同时减少了同样的M次,因为前面被占据的席位数减少了M个,这两者是严格等价的。也就是说,前面每发生1个生日相同事件,就一定产生1个空席位,对后面的人来讲,就减少了一个入座时发生自己的席位有人的可能性,这两者是严格的对等,并且同时发生的!所以我们假定把前面每个人发生生日相同的“可能”都相加,就把很多无效的事件作为基本事件在处理了。

  现在再来看前面那个直接计算生日相同公式的问题,就很清楚了,那个公式在计算取样N个人发生生日相同的概率时,把N个人“产生空席位的可能”都加起来了,因而得到了一个等差级数。实际上根据我们的分析,取样N个人,发生生日相同的可能就是(N-1)个,因此,只要用(N-1)替代那个等差级数,生日相同的概率公式就是:

P=(N-1)/365; 与我们用空席位的办法得出的结论是一致的。

我们再来分析《生日悖论》的公式在哪里出了问题:

先计算房间里所有人的生日都不相同的概率,那么

第一个人的生日是 365选365

第二个人的生日是 365选364

第三个人的生日是 365选363

:

第n个人的生日是 365选365-(n-1)

明明每个人的生日取值都应该是365选365,为什么这里N每增加1,选取生日的范围要减少1呢?因为这个公式设定的前提条件是——假定这些人的生日都不相同,也就是假定(N-1)个人占据了(N-1)个席位,没有空席位发生。所以按这个假设而产生的生日选取模式,必须不断减去前面被占的席位。实际上按这样的假设选取生日,就保证了取样N个人的时候,这N个人的生日都不同,所以这种生日取值的方法本身,就是取样N个人的时候,生日不同的概率!

我们也可以这样来理解这个设定:

每个人的生日取值都是365 选365,但是第二个人在入座时,有一个“自己的席位已经有人的可能”,也就是发生生日相同的可能,这个可能的概率为1/365,所以计算生日不同的概率,要减去这个生日相同的概率;第二个人有两个这样的可能……第N个人就有(N-1)个这样的可能。与刚才的分析一样,这些人发生生日相同的可能不用叠加,因为无论在N之前的(N-1)个人之间已经发生了多少次生日相同的事件(M次,对N来讲,他发生生日相同可能的次数,一定同时减少了同样的M次,这两者是严格等价的。重复一下:每发生1个生日相同事件,就一定产生1个空席位,对后面的人来讲,就减少了一个入座时发生自己的席位有人的可能性,所以不管取样的人数为多少,第N个人有(N-1)个生日相同的可能,已经包括了前面所有的人发生生日相同的全部可能性。由于这个设定排除了取样N个人的时候,全部生日相同的可能,所以这个设定的本身就是取样N个人的时候,大家生日都不同的概率,不能再逐项相乘了,就像直接计算生日相同概率时一样,不能再将前面所有人的生日相同的可能逐个相加了。

于是,取样N个人,生日不同的概率就是:

P=[365-(N-1)]/365=(366-N)/365;

用1 减去这个概率,就得到取样N个人,生日相同的概率:

P=1-(366-N)/365=(N-1)/365;

至此,我们用“空席位法”、直接计算生日相同的办法、先计算生日不同的办法……三种办法,得到了统一的结果。

概率理论的问题就是这些吗?

不是!还有一个很重大的问题。

我再举个例子:

为了方便起见,我们假定一年为52周,每周7天,全年为364天。我们把被取样的人群按出生日期所在的“周”,划分成52群,然后在每个人群里随机取样2个人,共取104个人,再来计算这样取样的104个人中间,发生生日相同事件的概率。由于52个周在这里是等价的,我们只要算一个周里随机取样2个人时,发生生日相同的概率,再全部相加(乘以52)就可以得到答案。

一周7天,同一周出生的2个人,生日相同的概率为1/7,

P=(1/7)*52 远远大于1 !

问题出在哪里呢?

我们来分析取样的方式:

由于这些人分别来自52个不同的周,因此不可能发生重叠取样的问题。实际上从理论上讲,即使我们还是在未经划分的人群里取样104人,尽管每次取样的104人的分布都不一定均匀,但是根据统计学原理,由于我们设定被取样的人群的生日是均匀分布的,取样是随机的,因此无数次取样的平均值,一定是线性分布的,也就是这104个人从理论上讲,本来就应该是均匀分布在52周里的,

我们的计算方式也是没有问题的,因为我们并没有在不同周出生的人之间做无效比对;每周2个人,生日相同的概率就是确定的1/7,用任何公式计算都是这个结果;这52周是完全独立的、等价的,每一周里发生生日相同的概率也是独立的、等价的,52周的每一个周里被取样的2个人,如果有生日相同的事件,也是同时在发生的,所以取样104人发生生日相同的概率,就是应该将这52个概率相加的(52个周之间是“或”的关系,也就是是“加”的关系)。

看来我们找不到出错的原因,只能得出的唯一结论,就是“不能这样算”!

26
商与儒 发表于 2009-5-24 22:54:00

从哲学角度看,这个问题的本质就是“非线性系统的局部之和不等于整体”。用线性的概率理论来分割非线性系统后,把分割后的局部都看成是等价的部分,分别计算后再叠加,是一定出问题的。

现在我们再来进一步分析概率的计算理论:

综合概率的频率定义、古典定义、和严格定义,我们知道,概率计算的原始想法就是:把所有可能发生的基本事件用排列组合全部列出来,再把你感兴趣的事件出现的次数全部相加后,除以所有可能出现的基本事件的总数,就得到你感兴趣的事件出现的概率。

但是,我们凭什么认定“所有可能出现的基本事件,它们出现的几率本身是等价的?”

拿上面举过的只涂颜色的小球例子来讲,同样作为基本事件,红红红、蓝蓝蓝、棕棕棕出现的几率,与红蓝棕、红棕蓝、蓝红棕、蓝棕红、棕红蓝、棕蓝红……出现的几率并不是等价的,因为红红红本质上是几个排列的集合;……即使排除正交的因素,我们把9个小球标上1-9的数字,你又凭什么认定经过所有的排列和组合出现的504个基本事件,出现的几率是等价的?那只是人为的设定而已!

真实世界是非线性的,用非线性的分形理论来看,实际上每个基本事件都是所要计算的概率的分形,它们具有内在的“自相似性”,所以用形式逻辑去线性的设定它们的等价,就像用数字量去对模拟量进行数模转换,一定会“遗失非线性部分(描述细节)”的部分。在标度不大或精度要求不高时,误差在许可的范围,当标度扩大后,这种误差一定会达到“离谱”的程度。

概率的本质问题,是偶然性和必然性之间的关系问题,是局部(取样部分)与整体的关系问题;这两重关系互相之间是耦合的关系,不能线性的割裂开计算后,再线性的叠加。这里不是数学论坛,但是我可以告诉大家一个事实,我曾经抛开概率公式,假定一年的天数分别从1-20(由于时间和精力的关系,我没有算到365),根据实际可能发生生日相同的事件(两人生日相同、三人生日相同、四生日人相同……),列出一组数字,它们居然是标准的“分形”!有兴趣的朋友可以自己去试验,我相信你会得出与我一样的结论——非线性的概率理论,一定是分形的理论!因为分形理论实际上也是一种非线性数学(几何)的理论。只有分形,无论标度如何变化,它的精细结构(精度)是不变的!分形系统的局部和整体的关系、偶然和必然的关系,也不是线性分割和叠加的关系,分形系统中局部与整体的统一、偶然和必然的统一,是个更高层面的统一,它们不仅统一在内在的自相似性、内在的对称性、内在的一致性,还统一在维度上、信息上,分形系统任意小的局部,都蕴含了全部整体的信息,就像全息照片一样;分形是个连续结构的系统,在维度上是连续的,局部的分数维,可以连续的过渡到整体的整数维(后面我谈到的数系的问题就是个例子),或者反过来说,分形系统的整体在“微分”成局部时,它的维度也是在变化的!而我们现在所熟悉的“三维空间”,实际上是人造的离散结构系统,在维度上是不连续的!

我们从哲学角度再抽象一步来看,线性与非线性思维的差异,就在于两者对“时间、空间、序、度”这几个最重要的哲学概念的理解不同。线性思维认为时间是绝对的、均匀的、各向同性的;空间也是绝对的、均匀的、各向同性的;时间与空间是绝对分割的;非线性思维则认为时间与空间的关系是一种耦合,两者不可分离,互相融合和影响;时空不是绝对的、线性的、在引力场里是会形变的……线性思维认为次序是绝对的、清晰的;有序与无序(规则和不规则)也是对立的、界限清晰的;非线性思维认为世界是混沌的,有序和无序(规则和不规则)之间的关系不是简单的对立统一;混沌就是“有规律的不规则、没有精确周期的规则”……线性思维的维度是离散的正交的三维,与速度、精度、温度……都没有关系,互相是分割的;认为速度、精度、温度……的变化对系统的影响都是线性的、因而可以分割考虑、线性叠加;非线性思维的维度是连续的,因而有“分数维”;而认为维度、速度、精度、温度……互相之间的关系都是耦合,它们对系统的影响也是耦合的关系,不能线性叠加……

事实上线性科学在研究的只是真实世界中“最接近线性的系统”,或者是可以用线性的办法(忽略或设定某些项后)研究的“规则状态和系统”,把大量的非线性状态和系统作为“不规则状态和系统”扔到“废物箱”里去了;而非线性科学研究的恰恰就是被扔到“废物箱”里的不规则状态和系统,不但从中发现了“有规律的不规则”,反过来还发现线性科学研究的规则和规律(周期),实际上是“没有精确周期的规则”,与不规则之间并无清晰的界限,它们统一在同一个混沌系统中。

数学是个最典型的例子。数学的定律(或公式),都有一个严格的适用区间,有时在某个区间里,还必须精确的去除一些点,否则这些定律(或公式)就不存在或不能用;实际上这么做,就是因为这些定律(或公式)在那些被去掉的区间或点上,呈现了非线性(不规则)状态。数学的离散结构特征,除了因为数学严格遵循形式逻辑,还因为数学的基础——数系,就是个离散结构系统。

我在前面的帖子说过,我们在用的复数平面数系,本质上应该是个两维的球面,占据三维空间,现在数学用的两维平面的数系,实际上是把球面强行压平了!这一定会“撕裂”球面,产生无数条“裂缝”,使数系成为离散结构。以实数轴为例:如我在前面所说,用形来表达数,就是做“模数转换”,理论上能精确实现模数转换的,只有圆。所以实数轴应该是个圆;现在在用的实数轴是根线,等于把圆弧强行压直了,这就一定会产生无数的“裂痕”。我们前面说过,为什么没有面积的点的集合会变成直线呢?其实就是在这个数轴上有无数的空隙存在,空隙是有长度的,所以数轴的长度是由空隙形成的。这么说有依据吗?我来举个例子:循环小数和自然数都是实数,它们都对应数轴上的点。但是我们来考察一下自然数1和0.9循环小数,在它们之间,我们永远无法插入任何其他的数,但是无论你对0.9循环小数取多少位,它总是小于1,所以,它们之间就有一个空隙。其实其他循环或不循环小数、无理数……两边都有空隙,正是这无数的空隙,造就了数轴的长度。

支持我以上观点的,还有一个最好的事实——超越数的存在,它们是被形式逻辑排除在外的“特殊无理数”,因为所有的超越数都不是整系数代数方程的解,它们显然在现存的数学里很少会出现;近百年来,只发现了很少几个超越数,但是集合论证明代数数的数量远比超越数少(有人把代数数比喻成由超越数组成的黑暗天空中的星星)。开个玩笑——上帝不会创造这么多没有用的超越数吧?我相信它们就是球面数系被强行压平后产生的裂痕或碎片,或者说,是对数轴(直线)进行模数转换后留下的非线性(高频)碎片——我们似乎可以这样比喻:现代数学像个极挑剔的导演,它从数亿万大众中,只选了几个完美的明星(譬如自然数),却让它们统治了整个数学舞台。

  数字计算机的硬件极限是量子计算机,软件极限就是线性(精确)数学和形式逻辑(布尔)代数。一旦模拟数学和辩证逻辑代数被创建,计算机将产生一个非线性的飞跃!模拟数学研究的就是连续结构系统,模拟数学用的数系,一定就是那个占据三维空间的球面数系,在这个数系上,数轴上的空隙不存在了,令数学家最头痛的区间、奇点、连续而不可微、超越数……都不再存在!只是我们的思维也必须有很大的改变,因为人造的“自然数、二进制、十进制、三维空间……”都是典型的离散结构系统,我们对它们太熟悉了,甚至已经把它们的“存在”当成了真实、真理、和必然。但是在模拟数学里,它们也随着离散结构的消失而消失,或者被赋予完全不同的意义!,

    不过,线性数学和线性科学永远不会过时,永远不会被抛弃,因为在人造的平台上(全世界统一的标准、协议……譬如计时单位、时差、长度单位、重量单位、温度单位、海平面、经纬度……),它们还是非常好用的。

就写这些,供各位参考。欢迎批评指正!

谢谢!

商与儒

[此贴子已经被作者于2009-5-24 22:56:18编辑过]

27
圃中蔬 发表于 2011-6-13 14:45:22
路过看看!学习下!

28
kissthefuture 发表于 2012-9-7 17:29:50
说实话
比《概率理论的线性局限分析》那作者有才多了

还有 生日悖论在于没有把基本事件描述清楚, 而不是神马概率出现了悖论, 改天有时间再回复, 大概就是规定是否每个人的出生是独立的还是参与分析的人保证生日是不同的, 如若不然, 结论肯定是错的

ps: 不要把模糊不清的结论怪罪到某些原理下. 比如概率的基本事件, 有几人关注到这个事情呢? 要是关注到了, 自然理解了生日悖论, 根本不是悖论, 而是不同的理解而已

29
yangwag 发表于 2012-9-15 16:35:39
很好!

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
jg-xs1
拉您进交流群
GMT+8, 2025-12-27 05:27