（续） 前面说的都是对单个数据库的简单操作，但有时我们需要改变数据的结构，或者抽取来自不同数据库的信息，因此需要更方便的命令。这一类命令中我用过的有：改变数据的纵横结构的命令reshape，生成退化的数据库collapse，合并数据库的命令append和merge。 纵列（longitudinal）数据通常包括同一个行为者（agent）在不同时期的观察，所以处理这类数据常常需要把数据库从宽表变成长表，或者相反。所谓宽表是以每个行为者为一个观察，不同时期的变量都记录在这个观察下，例如，行为者是厂商，时期有2000、2001年，变量是雇佣人数和所在城市，假设雇佣人数在不同时期不同，所在城市则不变。宽表记录的格式是每个厂商是一个观察，没有时期变量，雇佣人数有两个变量，分别记录2000年和2001年的人数，所在城市只有一个变量。所谓长表是行为者和时期共同定义观察，在上面的例子中，每个厂商有两个观察，有时期变量，雇佣人数和所在城市都只有一个，它们和时期变量共同定义相应时期的变量取值。 在上面的例子下，把宽表变成长表的命令格式如下： reshape long （雇佣人数的变量名）, i(（标记厂商的变量名）) j(（标记时期的变量名）) 因为所在城市不随时期变化，所以在转换格式时不用放在reshape long后面，转换前后也不改变什么。相反地，如果把长表变成宽表则使用如下命令 reshape wide （雇佣人数的变量名）, i(（标记厂商的变量名）) j(（标记时期的变量名）) 唯一的区别是long换成了wide。 collapse的用处是计算某个数据库的一些统计量，再把它存为只含有这些统计量的数据库。用到这个命令的机会不多，我使用它是因为它可以计算中位数和从1到99的百分位数，这些统计量在常规的数据描述命令中没有。如果要计算中位数，其命令的语法如下 collapse (median) (（变量名）), by(（变量名）) 生成的新数据库中记录了第一个括号中的变量（可以是多个变量）的中位数。右面的by选项是根据某个变量分组计算中位数，没有这个选项则计算全部样本的中位数。 合并数据库有两种方式，一种是增加观察，另一种是增加变量。第一种用append，用在两个数据库的格式一样，但观察不一样，只需用append空格using空格（文件名）就可以狗尾续貂了。简单明了，不会有什么错。另一种就不同了，需要格外小心。如果两个数据库中包含共同的观察，但是变量不同，希望从一个数据库中提取一些变量到另一个数据库中用merge。完整的命令如下： use （文件名） sort （变量名） save （文件名）, replace use （文件名） sort （变量名） merge （变量名） using （文件名）, keep(（变量名）) ta _merge drop if _merge==2 drop merge save （文件名）, replace 讲到这里似乎对于数据的生成和处理应该闭嘴了。大家可能更想听听估计、检验这些事情。但我并不想就此止住，因为实际中总是有一些简单套用命令无法轻易办到的特殊要求。此时至少有两条路可以通向罗马：一是找到更高级的命令一步到位；二是利用已知简单命令多绕几个圈子达到目的。 下面讲一个令我刻骨铭心的经历，这也是迄今我所碰到的生成新数据中最繁复的了。原始数据中包含了可以识别属于同一个家庭中所有个人的信息和家庭成员与户主关系的信息。目的是利用这些信息建立亲子关系。初步的构想是新数据库以子辈为观察，找到他们的父母，把父母的变量添加到每个观察上。我的做法如下： use a1,clear keep if gender==2agemos=96a8~=1line10 replace a5=1 if a5==0 keep if a5==1|a5==3|a5==7 ren h hf ren line lf sort wave hhid save b1,replace keep if a5f==1 save b2,replace use b1,clear keep if a5f==3|a5f==7 save b3,replace use a3,clear sort wave hhid merge wave hhid using CHNS01b2, keep(hf lf) ta _merge drop if _merge==2 sort hhid line wave by hhid line wave: egen x=count(id) drop x _merge save b4,replace use a4,clear sort wave hhid merge wave hhid using CHNS01b3, keep(a5f a8f schf a12f hf agemosf c8f lf) ta _merge drop if _merge==2 sort hhid line wave by hhid line wave: egen x=count(id) gen a=agemosf-agemos drop if a216x==3 gen xx=x gen xxx=x gen y=lf if x==1 replace y=lf if x==2xx==1 replace y=lf if x==2xxx==1 keep if x==1|(lf==yx==2) drop a x xx xxx y _merge save b5,replace log close exit,clear 我的方法是属于使用简单命令反复迂回地达到目的那一类的，所以非常希望有更简便的方法来替代。不过做实证时往往不是非常追求程序的漂亮，常常也就得过且过了。曾经有人向我索要过上面的处理方法，因为一直杂事缠身，就没有回复。现在公开了，希望对需要的人能有所帮助，我也懒得再去一一答复了。 stata强大的功能体现在它可以方便地回归微观数据。而回归也是微观实证中最重要的方法。下面就开始讲stata中和回归有关的常用命令。 基本回归方法有两种：线性设定下的最小二乘法（OLS）和两阶段最小二乘法（2SLS）。他们在实证分析中应用广泛，十分详细地掌握这两种方法是实证研究的基本要求。讲解的顺序是先依次介绍如何在stata中实现OLS和2SLS估计，然后再分析如何在实际问题中选择合理的方法。后一部分受JoshuaAngrist教授的影响很大，因此，在后面引用他的思想时会详细注明。 假设你已经清楚地了解待估计方程的形式，那么回归命令的基本格式就十分简单明了： reg（被解释变量）（解释变量1）（解释变量2）…… 方程中的相应变量可以简单地放在reg的后面。执行上面的命令后，stata会出现两个表格，分别报告一些方差分析和回归的参数估计结果。我们最关心的是参数的大小和显著性，这在第二个表格中列出。表格的最左边一栏列出了解释变量，在它的右边是相应的系数估计值，然后依次是估计值的标准误，t比率，原假设为系数的真实值等于零时错误地拒绝该假设的概率——p值，以及该估计值的置信度为（1-5%）的置信区间。 我看到回归结果的第一眼是瞄着最关心的解释变量的符号、大小和显著性。看看解释变量影响的方向和大小是不是符合理论的预期，是不是合乎常识，以及这个估计值是不是显著。标记显著性的统计量是t统计量，在经典假设下，它服从t分布。t分布和标准正态分布形状很相似，但它的“尾巴”要比标准正态分布的“肥”一些，在样本量比较小的时候尤其明显，当样本量趋于无穷时，t分布的极限分布是标准正态分布。大家对标准正态分布的分布函数上一些关键点比较熟悉，比如，1.96是97.5%的关键点，1.64是95%的关键点，所以，我们希望知道什么时候可以安全地使用标准正态分布。下表列出了一些小自由度下二者的差异（Beyer1987“CRCStandardMathematicalTables,28thed.”；Goulden1956“MethodsofStatisticalAnalysis,2nded.”）。可以看出，自由度超过一百时，二者的差别就已经相当小了。所以，当样本量的数量级是100个或以上时，可以直接认为t比率服从标准正态分布，并以此做检验。 90%95%97.5%99.5% 13.077686.3137512.706263.6567 21.885622.919994.302659.92484 31.637742.353363.182455.84091 41.533212.131852.776454.60409 51.475882.015052.570584.03214 101.372181.812462.228143.16927 301.310421.697262.042272.75000 1001.290071.660231.983972.62589 1.281561.644871.959992.57588 读者读到这里可能会笑话我了，stata不是已经报告了t检验的p值和置信区间了吗？为什么不直接察看这些结果呢？原因在于实证文献往往只报告参数的估计值和标准误，需要读者自己将估计值和标准误相除，计算显著性。而且当你在写实证文章时，也应该报告参数的估计值和标准误。这比报告估计值和它的p值更规范。 伴随回归命令的一个重要命令是predict。回归结束后，使用它可以得到和回归相关的一些关键统计量。语法如下： predict（新变量名），（统计量名） 这里的统计量名是一些选项。常用的选项有：xb（回归的拟合值。这是默认选项，即不加任何选项时，predict赋予新变量前一个回归的拟合值。）；residuals（残差）；leverage（杠杆值）。下面具一个例子来解释predict的用法。 有时样本中的一个特别的观察值会显著地改变回归结果。这样的观察值可以笼统地分为三类：outliers，leverage和influence。Outliers是针对残差而言的，指那些回归中残差很大的观察；leverage是针对解释变量而言的，是解释变量相对其平均值偏里很大的观察；influence是针对估计结果而言的。如果去掉这个观察会明显地改变估计值，那么这个观察就是一个influence。Influence可以看作outliers和leverage共同作用的结果。异常观察可能是由于样本的特性，也可能是因为录入错误。总之，我们希望找到它们。 回归后的predict命令可以发现这些异常观察（命令来自UCLA的“RegressionwithStata”第二章）。发现outliers，leverage和influence的命令如下： predictrs,rstudent predictl,leverage predictcsd,cooksd predictdf,dfits 这些统计量都有相应的关键值。当统计量（或其绝对值）超过关键值时就应该仔细检查相应的观察，确认是否属于录入错误。rstudent是用来发现outliers的统计量，其关键值是2，2.5和3。leverage是用来发现leverage的统计量，其关键值是(2k+2)/n，其中k解释变量的个数，n是样本量。Cooksd和DFITS是探测influence的统计量。它们都综合了残差和杠杆的信息，而且二者非常类似，只是单位不同，因而给出的结果也差不多。Cooksd的关键值是4/n。DFITS的关键值是2*sqrt(k/n)。 （续） 在使用最小二乘法估计时，两个通常被质疑的问题是数据是否存在多重共线性和异方差。 多重共线性是指解释变量之间的相关性。通常我们假设解释变量之间是相关的，而且允许解释变量存在相关性，并控制可以观察的因素正是OLS的优点。如果把多重共线性看作一个需要解决的问题，那么需要把它解释为相关性“较大”。这样，变量之间没有相关性不好，相关性太大也不好，优劣的分割真是颇费琢磨。而且多重共线性并没有违反任何经典假定，所以，这个问题没有很好的定义。本质上讲，在样本给定时，多重共线性问题无法解决，或者说它是一个伪问题。 先看一下为什么解释变量之间的相关性大会有问题。在OLS回归的经典假设（除正态假设外）下，某个系数的OLS估计值的总体方差与扰动项的方差成正比，与解释变量的总方差（一般地，我们视解释变量为随机变量）成反比，是该变量对其它解释变量回归的拟合优度的增函数。这个拟合优度可以理解为该变量的总变动中可以由其他解释变量解释的部分。当这个值趋近于1时，OLS估计值的总体方差趋向于无穷大。总体方差大时，样本方差也大的概率就大，t检验就会不准确。尽管多重共线性没有违背任何经典假设，但是OLS方法有时无法准确估计一些参数。这个问题可以理解为数据提供的信息不足以精确地计算出某些系数。最根本的解决方法当然是搜集更大的样本。如果样本给定，也许我们应该修改提出的问题，使我们能够根据样本数据做出更精确的判断。去掉一个解释变量，或者合并一些解释变量可以减少多重共线性。不过要注意的是去掉相关的解释变量会使估计有偏。 实际操作时使用方差膨胀系数衡量解释变量的多重共线性。我们只需在回归之后使用vif命令就可以得到方差膨胀系数。在命令行中敲入vif并回车，stata会报告一个包含所有解释变量的方差膨胀系数的表格，如果方差膨胀系数大于10，这个变量潜在地有多重共线性问题。 异方差是一个更值得关注的问题。首先简单地介绍一下异方差会带来哪些问题。第一、异方差不影响OLS估计的无偏性和一致性。第二、异方差使估计值方差的估计有偏，所以此时的t检验和置信区间无效。第三、F统计量不再服从F分布，LM统计量不再服从渐进卡方分布，相应的检验无效。第四、异方差使OLS不再是有效估计。总之，异方差影响推断是否有效，降低估计的效率，但对估计值的无偏性和一致性没有影响。 知道了异方差作用的原理，很自然地就有了对付它的办法。第一种方法是在不知道是否存在异方差时，通过调整相应的统计量纠正可能带来的偏差。OLS中实现对异方差稳健的标准误很简便。相应的命令是在原来的回归命令后面加上robust选项。如下： reg（被解释变量）（解释变量1）（解释变量2）……，robust White（1980）证明了这种方法得到的标准误是渐进可用（asymptoticallyvalid）的。这种方法的优点是简单，而且需要的信息少，在各种情况下都通用。缺点是损失了一些效率。 另一种方法是通过直接或间接的方法估计异方差的形式，并获得有效估计。典型的方法是WLS（加权最小二乘法）。WLS是GLS（一般最小二乘法）的一种，也可以说在异方差情形下的GLS就是WLS。在WLS下，我们设定扰动项的条件方差是某个解释变量子集的函数。之所以被称为加权最小二乘法，是因为这个估计最小化的是残差的加权平方和，而上述函数的倒数恰为其权重。 在stata中实现WLS的方法如下： reg（被解释变量）（解释变量1）（解释变量2）…… 其中，aweight后面的变量就是权重，是我们设定的函数。 一种经常的设定是假设扰动项的条件方差是所有解释变量的某个线性组合的指数函数。在stata中也可以方便地实现： 首先做标准的OLS回归，并得到残差项； reg（被解释变量）（解释变量1）（解释变量2）…… predictr,resid 生成新变量logusq，并用它对所有解释变量做回归，得到这个回归的拟合值，再对这个拟合值求指数函数； genlogusq=ln(r^2) reglogusq(解释变量1)（解释变量2）…… predictg,xb genh=exp(g) 最后以h作为权重做WLS回归； reg（被解释变量）（解释变量1）（解释变量2）…… 如果我们确切地知道扰动项的协方差矩阵的形式，那么GLS估计是最小方差线性无偏估计，是所有线性估计中最好的。显然它比OLS更有效率。虽然GLS有很多好处，但有一个致命弱点：就是一般而言我们不知道扰动项的协方差矩阵，因而无法保证结果的有效性。 到现在我们已经有了两种处理异方差的方法：一是使用对异方差稳健的标准误调整t统计量，并以此作推断；另一种是设定异方差的形式，使用可行的GLS得到有效估计。下面总结一下标准的OLS估计同上述两种方法的优劣，并结合检验异方差的方法，给出处理异方差的一般步骤。
标签: 数据库经管大学堂：名校名师名课
京公网安备 11010802022788号
论坛法律顾问：王进律师
知识产权保护声明
免责及隐私声明
