逻辑回归相关性分析请教

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

如题，现在想对多项逻辑回归方程中的各变量相关性进行检验，但是有几个问题弄得不是很明白，特此向各位大神请教：

1. 多项逻辑回归的因变量和自变量之间有必要进行单因素相关性检验吗? 因为因变量是分类变量，不是数值，如果进行回归，坐标轴的标注感觉会奇怪吧（请原谅统计小白的感性发言～），而且我好像在哪里看到过分类变量与连续变量进行相关分析是没有意义的～～不知道正确与否？


2. 承接上文，如果自变量和因变量能进行相关分析，具体使用spss的哪个功能？线性回归还是双变量相关分析？

3. 自变量之间的相关性分析应该是使用spss中双变量相关分析功能来实施吧？是不是要求变量都符合正态分布？因为我在资料中看到这样一句话“如果样本数据或其变换值不服从正态分布，则计算Pearson 积矩相关系数就毫无意义。退而求其次，此时只能计算Spearman或Kendall秩相关系数”
还有，这个方法能否有效检测自变量之间的多重共线性？

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏5 回帖

关键词：相关性分析 逻辑回归 相关性 spearman pearman 相关性

      额，还真是有缘，又是我来回答了。
      第一个问题，logistic回归模型由于因变量是类别变量，要经过线性变换后才能以常规的多元线性模型（OLS）去理解它。其实在我看来，如果在构建模型前，对数据做好了预处理（我在其它的帖子里有告诉过你怎么对数据进行一些预处理），对自变量进行了多重共线性诊断，就没必要一个个自变量分别去和因变量做回归，看系数大小和方向了。
      有了第一个问题的认识，第二个问题就没必要了。同时，你所谓的做线性回归或者双变量相关分析都是针对连续性自变量来做的。不能用于类别变量。
      第三个问题，连续性自变量间的相关系数可以用Pearson相关系数；类别变量分两种，一种是有序多分类变量的相关，一种是无序多分类变量的相关，有序的用Spearman，无序的貌似可以用你说的这个Kendall秩相关。有一点可以明确的是，不管是何种类型的变量，都可以做相关分析的。只是方法不一样而已。
      最后一个问题，多重共线性的检验不用结合因变量，是检验自变量，尤其是连续性自变量间是否存在多重共线性，SPSS软件你要在线性回归里面去勾选多重共线性诊断窗口。若存在多重共线性，可以先用主成分分析将存在多重共线性的自变量合并为新的变量，然后再和其它变量一起去构建模型。若不存在多重共线性，直接构建模型即可。

xddlovejiao1314 发表于 2015-8-3 16:24
额，还真是有缘，又是我来回答了。
      第一个问题，logistic回归模型由于因变量是类别变量，要经 ...

你太热心了～～～真的无以为报你对我的帮助啊～～

xddlovejiao1314 发表于 2015-8-3 16:24
额，还真是有缘，又是我来回答了。
      第一个问题，logistic回归模型由于因变量是类别变量，要经 ...

不过还有个小问题，我看到网上也有用“分析”——“相关”——“双变量”这个功能来进行自变量之间的相关分析的，我自己实验了一下，貌似它跟线性回归的分析结果差不多～～是不是意味着它也可以用来检查自变量的相关性呢？
还有判断标准的问题，有说看相关系数的，大于0.6 就可以认为存在相关；还有的说看显著性水平的，小于0.05或者0.01就是相关？到底哪个正确呢？
如果是看系数，那pearson系数为负数怎么办？是绝对值大于0.6，还是本身大于0.6？

最后，题外话，为了节约时间，干脆省略相关性分析，直接进行主成份分析可以吗？

ajiao4310 发表于 2015-8-4 01:21
不过还有个小问题，我看到网上也有用“分析”——“相关”——“双变量”这个功能来进行自变量之间的相关 ...

     第1个问题，分析”——“相关”——“双变量”这个功能来进行自变量之间的相关分析和一般的线性回归没多大差别的，自然结果差不多。你可以看看谢宇老师的《回归分析》一书，https://bbs.pinggu.org/thread-3065280-1-1.html，看看里面关于相关和回归的解释就明白了。
     第2个问题，用SPSS做分析”——“相关”——“双变量”这一系列命令时得到的表格两个变量间会包含几个统计量，一是相关系数，二是检验统计量，三是显著性。不是说要以0.6去卡变量间相关与否，要结合相关系数和显著性一起看，显著性一般三个标准，0.1,0.05和0.01，分别对应着*，**和***。感觉你一些基本的概念都没掌握啊。建议好好看看《回归分析》这本书啊。
     再来说pearson系数为负数的问题，相关分为正相关和负相关，所以这个系数为负很正常啊。再强调一下，两个变量相关与否不是以0.6来卡的哦。
      最后一个问题，要不要用主成分分析仅仅看相关分析结果是不行的，相关分析不能辅助判断变量间的多重共线性程度，要做相应的统计检验才能判定（如一般认为VIF>10就存在多重共线性），自变量间存在多重共线性了，才用主成分回归啊，而不是存在相关就用。变量间存在相关是很正常的，只要不构成严重的多重共线性就OK。祝好运。
   

xddlovejiao1314 发表于 2015-8-4 08:41
第1个问题，分析”——“相关”——“双变量”这个功能来进行自变量之间的相关分析和一般的线性回归 ...

好的，谢谢你的建议，我马上去读谢宇老师的书～～下载了还一直没有看～～不好意思～

xddlovejiao1314 发表于 2015-8-4 08:41
第1个问题，分析”——“相关”——“双变量”这个功能来进行自变量之间的相关分析和一般的线性回归 ...

我稍微看了下谢宇的书，在多重共线性的章节中并没有讲述逻辑回归该如何分析判断是否存在共线性，然后我在网上搜集资料看到下面两种意见
”在SPSS、SAS里多元线性回归有共线性诊断。但logistic回归比较繁杂。
如果非要做诊断可以以原始数据求得的logistic回归参数估计值再进行一次加权回归,然后利用sas线性回归中的vif或collin进行诊断 。在下面的帖子里我们讨论过：求教SAS中的LOGISTIC回归 - 丁香园论坛
另外，你可以直接做变量之间的相关，如相关系数>0.8可认为有共线性。“”用多元线性回归里的就是了,

随便用一个不在自变量里的变量做因变量,
然后做回归就是了,选用进入法.
因为共线性诊断与因变量无关.与方程的参数无关.“


因为逻辑回归的因变量是分类变量，我很疑惑如果直接使用”分析“——”回归“——”线性“这个功能来判断vif值那些指标是否符合要求呢？

ajiao4310 发表于 2015-8-4 10:00
我稍微看了下谢宇的书，在多重共线性的章节中并没有讲述逻辑回归该如何分析判断是否存在共线性，然后我在 ...

SPSS做Logitic回归时没有共线性诊断对话框的，共线性诊断是对自变量尤其是连续性自变量进行诊断的，所以你可以对连续性自变量做多元线性回归，以此来判定自变量间是否存在多重共线性，这时与因变量（类别变量）无关了。即你以连续性自变量中的一个作为多元线性回归的因变量，其余连续性自变量作为自变量，然后勾选共线性诊断对话框，以此来判定自变量间是否存在多重共线性，并进一步做相应的处理。我个人不推荐看自变量间的相关系数来诊断多重共线性。以VIF,CN等专门的统计量来诊断靠谱些。祝好运。

xddlovejiao1314 发表于 2015-8-3 16:24
额，还真是有缘，又是我来回答了。
      第一个问题，logistic回归模型由于因变量是类别变量，要经 ...

正好遇到这方面的问题。不知道怎么判断自变量间 以及自变量与因变量间的相关性。请问下，spss数据的预处理是怎么做的？可否方便把链接给下呀~多谢呢

didamunaoke 发表于 2015-10-16 11:28
正好遇到这方面的问题。不知道怎么判断自变量间 以及自变量与因变量间的相关性。请问下，spss数据的预处理 ...

自变量与自变量间的相关性直接通过相关系数就判定了。如自变量和因变量都为连续型变量，直接按照如下操作就行：分析——相关——双变量——······；SPSS数据预处理包括极端异常值的诊断，偏态分布数据的处理，很多。我写了几个这方面的帖子。可能对你有些启示。链接如下：https://bbs.pinggu.org/thread-3569928-1-1.html，https://bbs.pinggu.org/thread-3651449-1-1.html，祝好运。