合成控制法的统计检验主要是随机转换检验(permutation test),实际是一种placebo test,简单的说,就是假设我从控制组中随机抽一个作为伪干预个体,然后利用合成控制的方法,估计出干预效应,每一个控制组个体都这样做,我们就可以得到一个干预效应的估计量的分布,我们现在看你实际估计的干预效应在这个分布中的位置(注意,你这个分布是没有干预的情况下估计出的分布,因为你用的是控制组个体作为一个虚拟的干预个体),如果处于中间位置,那就不显著,说明干预没有作用的可能性很大,如果在极端位置,那就证明显著了。这个实际上是就是Fisher的精确P检验方法在合成控制方法下的应用。
比如我们以Abadie etal.(2010)文中加州控烟的经典例子,作者用38个州作为加州潜在的控制组,估计出合成加州,从而得到加州控烟法案的影响。在进行假设检验的时候,分别用38个控制州作为伪干预州,其余州作为控制州,进行同样的合成,从而可以得到伪干预州的因果效应,而这些州事实上没有任何政策干预,因而,得到的因果效应路径反映的就是没有干预时,可能看到的分布。因为,在进行合成时,是利用干预前的数据进行合成的,有些州合成的效应会比较差,即事前合成的与实际的有较大的偏差,作者是事前的均方预测误差(MSPE)在作为判断依据,它越小,说明事前拟合的越好,事前拟合的好,我们才能对事后预测有比较大的信息。为此,作者通过限制MSPE不超过加州MSPE的多少倍来进行控制,比如作者通过限制伪干预州MSPE不超过加州的MPSE的20倍、10倍、5倍、2倍等,作者画出了相应的图形(有兴趣的读者可查原文),下图我将MSPE限制为加州的2倍对应的图,此时,只保留了13个控制州,事前拟合的比较好,即事前干预效应基本接近于零。事后,可以看到加州是在最边界上,从而证明加州的效应是显著的,不是随机产生的。
除此之外,Abadie还提出构造一个事后事前MSPE的比值作为一个统计量,进行随机置换检验。基本的逻辑是,如果没有干预影响,那么事前事后的波动性应该差别不大,如果有显著影响,那么事后的波动将比事前有显著变动。我称该统计量为Adadie-R统计量,R表示ratio,是事后事前MPSE的比值(也可以用均方根预测误差RMPSE比)。利用Abadie-R统计量,估计出的统计量分布如下图,可以看出加州是在最右边的,从而证明加州的因果效应是显著的,不是随机的。
详细的介绍可以参考本人编写的教材MUSE,另推荐你读一下Abadie 2020发在JEL上综述性文章Using synthetic controls: feasibility, data requirements, and methodological aspects,这是SCM的创立者Abadie讲的如何使用SCM方法。
你找到的方法,还是挺奇怪的做法,没什么道理,估计是作者为了减少控制组样本进行的处理,不建议参考。