30金币求助bootstrap抽样原理

我知道bootstrap是又放回的重复抽样，比如我的数据是31个省市的截面数据，包含1个Y和3个X（X1,X2,X3），行为省份，列为变量，目的是想估计β系数，bootstrap抽样可能会使有的省被抽中10次，而有的省1次都没被抽中。
那么问题来了：OLS回归中β的估计式为：，这个解存在的前提是括号中的X'X是可逆的，也就是满秩。如果某个省被抽中10次，意味着10行数据都是一样的，那么X'X必然不是满秩的（行列式=0），则β解不存在。可现实是R中的boot包和bootstrap包里是可以对这种OLS做bootstrap抽样的。什么情况，我分析的哪里错了？还请大神指正

头像太可爱了，哈哈哈。重抽样抽取的不是X，因为条件期望X不是随机变量，抽的是残差项，然后得到不同的Y，从而不同的β。希望采纳，谢谢~

看不懂

清醒后的沉醉 发表于 2019-8-9 09:37
看不懂

没关系，期待大神解答

魏金宝 发表于 2019-8-9 09:28
头像太可爱了，哈哈哈。重抽样抽取的不是X，因为条件期望X不是随机变量，抽的是残差项，然后得到不同的Y，从 ...

先把金币给你哈，然后再给你交流下，我还是有一点点不明白。
比如我举的例子里，每bootstrap一次，就会新的31个残差，也就是会有31个新的Y，那么X呢？β估计式中不仅有Y还有最重要的X'X的逆。
我的想法（当然是不对的）：每bootstrap一次，就会新的31个残差，对应会有31个新的Y（其实不还是抽地区吗？），Y对应的3个解释变量X难道不也是跟着被抽中？如果是，那不就还是回到了我提问的问题？又陷入了死循环，O(∩_∩)O哈哈~

魏金宝 发表于 2019-8-9 09:28
头像太可爱了，哈哈哈。重抽样抽取的不是X，因为条件期望X不是随机变量，抽的是残差项，然后得到不同的Y，从 ...

我最开始的理解是抽地区，不是抽X哦

zhengbieguang 发表于 2019-8-9 22:19
先把金币给你哈，然后再给你交流下，我还是有一点点不明白。
比如我举的例子里，每bootstrap一次，就会新 ...

说了呀，X不是随机变量，X不变，X'X还是原来的配方原来的味道，不存在你说的等于0的问题，除非本来就有完全共线性

bootstrap一次，可以计算一个β值，最后β符合什么分布呢，用β的均值作为最后的估计值吗？

zhengbieguang 发表于 2019-8-9 22:19
先把金币给你哈，然后再给你交流下，我还是有一点点不明白。
比如我举的例子里，每bootstrap一次，就会新 ...

抽地区的话，就有可能某些地区抽不到，对应的X值自然也没有了，我觉得你说的有道理。我不懂这块，学习一下！

魏金宝 发表于 2019-8-10 08:15
说了呀，X不是随机变量，X不变，X'X还是原来的配方原来的味道，不存在你说的等于0的问题，除非本来就有完 ...

是不是这样理解的：只对残差进行bootstrap抽样，每bootstrap抽样一次，就得到31个残差，然后直接加到原来的Yhat里，形成新的Y，也就是更新了β估计式中的Y，β估计式中的其它部分不变。我的理解对吗？