【求助】比较几个算法在一组测试函数上的优劣的事后检验方法

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

问题描述：我现在有几个算法，已经在一组20个测试函数上进行了测试，分别得到了最优值，类似表格：                  algorithm1                  algorithm2                  algorithm3
f1   3.5779400E-025        2.9300000E-007        1.5300000E-027
f2   2.8468900E+002        1.3100000E+003        5.5700000E-001
f3   1.2278200E-013        1.3900000E+000        9.8800000E-013
f4   3.4475300E+012        1.7000000E+013        9.6100000E+012
f5   2.7236300E+008        2.6300000E+008        3.8400000E+008
f6   4.6897000E-009        4.9600000E+006        1.6200000E+007
f7   3.5276700E+008        1.6300000E+008        6.8900000E+005
f8   1.1950700E+008        6.4400000E+007        4.3800000E+007
f9   6.2125400E+007        3.2100000E+008        1.2300000E+008
f10   1.2967200E+004        1.0600000E+004        3.4300000E+003
f11   9.3625400E+000        2.3400000E+001        1.9800000E+002
f12   4.3696100E+006        8.9300000E+004        3.4900000E+004
f13   1.3013200E+003        5.1200000E+003        2.0800000E+003
f14   1.9902200E+008        8.0800000E+008        3.1600000E+008
f15   1.5892400E+004        1.2200000E+004        7.1100000E+003
f16   2.2282600E-013        7.6600000E+001        3.7600000E+002
f17   7.3822100E+006        2.8700000E+005        1.5900000E+005
f18   1.8354900E+003        2.4600000E+004        7.0900000E+003
f19   1.9614100E+007        1.1100000E+006        1.3600000E+006
f20   1.1434100E+003        4.0600000E+003        2.0500000E+003



问：已经对这三个算法进行了多相关非参数检验（Friedman test），现在将Friedman test 里秩最小的那个算法作为控制算法，进行事后检验，如何操作？
     【主要是想做事后检验，参考的论文里说用Holm‘t test，这个spss里貌似木有，但是别的事后检验方法大家有没有什么建议？具体怎样操作？？】
内心os：本人女程序猿，统计能力感觉入门级，实在是找不到方法……
              已经苦逼了一个星期了，跪求大神超度我疲惫崩溃的肉体……

泪奔感谢~~

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：检验方法 事后检验 Algorithm Friedman Fried

既然是测试那么就知道真实值。用预测值和真实值的差得到偏误。再对偏误的方差进行比较，小的那一个当然是好的了。先用t统计量检验两两之间的均值，再比较方差，这时用F统计量，或者似然比检验也可以。
不是程序员，建议来R版学R，哪里有好多程序问题，期待程序员的加入。P.S.我不是版主

nuomin 发表于 2014-3-15 10:52
既然是测试那么就知道真实值。用预测值和真实值的差得到偏误。再对偏误的方差进行比较，小的那一个当然是好 ...

20个测试函数的真实值都是零，单纯比较算法的平均误差和方差这种，编辑说方法太简单了，不够高上大。所以他要求参考这样的检验方式：
---------------------------------------------------------------------------------------------------------------
Table 5 Results of the Iman-Davenport’s test of MA-SSW-Chains
and the reference algorithms for dimensions 50, 100, 200, and 500
Dimension      Iman-Davenport value     Critical value      Significant differences?
50                   5.232034                      2.46                       Yes
100                 3.256133                      2.46                       Yes
200                 2.707457                      2.46                       Yes
500                 2.820250                      2.46                        Yes
---------------------------------------------------------------------------------------------------------
table5中使用的这个Iman‘s Davenport test是Friedman test的改进。话说这个critical value哪里来的？

-----------------------------------------------------------------------------------------------------------
Table 6 Comparison of DE (control algorithm) with CHC, IPOPCMAES,
and MA-SSW-Chains (Holm’s test)
Dimension            Algorithm                  z             pvalue          a/i          Sig.differences?
50                           CHC                  4.461          8.17E-06      0.017          Yes
                           IPOP-CMAES          2.827          4.69E-03      0.025           Yes
                          MA-SSW-Chains       0.251          8.02E-01      0.050            No
100                        CHC                    4.837          1.31E-6        0.017           Yes
                           IPOP-CMAES           3.08            2.08E-3        0.025           Yes
                          MA-SSW-Chains       0.628            0.53            0.050           No
200                           CHC                 4.963            6.93E-7        0.017           Yes
                           IPOP-CMAES           3.079            2.08E-3        0.025            Yes
                           MA-SSW-Chains       1.005              0.31            0.050            No
500                            CHC                  5.780            7.46E-9        0.017            Yes
                             IPOP-CMAES           2.890            3.85E-3        0.025            Yes
                             MA-SSW-Chains       1.634              0.102         0.050             No
-----------------------------------------------------------------------------------------------------------------------------
table6中使用DE作为控制算法，因为DE的average ranking最好。这里的z难道是转换过来的可以用来查标准正态分布表的z值？那p值查表来的？这精度也太精准了，难道是写代码求出来的不是用spss求的吧？

ThenBreeze 发表于 2014-3-17 11:34
20个测试函数的真实值都是零，单纯比较算法的平均误差和方差这种，编辑说方法太简单了，不够高上大。所以 ...

那么就按照编辑给的统计量计算吧。无非就是基于回归的统计量或者基于误差方差的卡方统计量再组合。计算方法上就是取平方后加总。用R编程序也就是三五行的事情

请问，Bergmann-Hommel要怎么操作呢？用什么软件呢？