ROC 曲线 数据量大速度慢怎么办？

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

本人菜鸟一枚，需要做ROC 曲线，问题在于我读入的数据有百万行，这样跑ROC曲线运行起来实在太慢了，一个小时也画不出来一条，因为需要很多组数据比较，所以想问问是否有什么方法提速？？

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：ROC 怎么办 ROC曲线 什么方法 数据比较

有R packages做ROC曲线，你试试看

bbslover 发表于 2016-7-10 04:52
有R packages做ROC曲线，你试试看

我是用的pROC 这个包做的，觉得不大行

试试其他包，还有就是，如果你有横坐标和纵坐标，你自己画

bbslover 发表于 2016-7-12 00:40
试试其他包，还有就是，如果你有横坐标和纵坐标，你自己画

还有其他的包，那我去找找。什么是有横坐标和纵坐标？我有的就是label和score的数据，是要自己算FPR和TPR的意思吗？pROC那个命令应该是把从高到低每个score都当成一个threshold，大神是否知道有没有参数可以调整这个threshold的，比如跳着来，这样应该可以省时间吧？

对，要自己算FPR和TPR

自己试试下面代码：

true_Y是label，probs是sores.

1. true_Y = c(1,1,1,1,2,1,2,1,2,2)
   
2. probs = c(1,0.999,0.999,0.973,0.568,0.421,0.382,0.377,0.146,0.11)
   
3. 
   
4. getROC_AUC = function(probs, true_Y){
   
5.     probsSort = sort(probs, decreasing = TRUE, index.return = TRUE)
   
6.     val = unlist(probsSort$x)
   
7.     idx = unlist(probsSort$ix)  
   
8. 
   
9.     roc_y = true_Y[idx];
   
10.     stack_x = cumsum(roc_y == 2)/sum(roc_y == 2)
    
11.     stack_y = cumsum(roc_y == 1)/sum(roc_y == 1)   
    
12. 
    
13.     auc = sum((stack_x[2:length(roc_y)]-stack_x[1:length(roc_y)-1])*stack_y[2:length(roc_y)])
    
14.     return(list(stack_x=stack_x, stack_y=stack_y, auc=auc))
    
15. }
    
16. 
    
17. aList = getROC_AUC(probs, true_Y)
    
18. 
    
19. stack_x = unlist(aList$stack_x)
    
20. stack_y = unlist(aList$stack_y)
    
21. auc = unlist(aList$auc)
    
22. 
    
23. plot(stack_x, stack_y, type = "l", col = "blue", xlab = "False Positive Rate", ylab = "True Positive Rate", main = "ROC")
    
24. axis(1, seq(0.0,1.0,0.1))
    
25. axis(2, seq(0.0,1.0,0.1))
    
26. abline(h=seq(0.0,1.0,0.1), v=seq(0.0,1.0,0.1), col="gray", lty=3)
    
27. legend(0.7, 0.3, sprintf("%3.3f",auc), lty=c(1,1), lwd=c(2.5,2.5), col="blue", title = "AUC")

复制代码

bbslover 发表于 2016-7-12 21:00
自己试试下面代码：

true_Y是label，probs是sores.

好哒好哒，那我试试看，真是太感谢了~~

you can only sample 1000 cut points

ntsean 发表于 2016-7-14 02:55
you can only sample 1000 cut points

对，我也是希望可以这样， 但是我不知道怎么做？也是说需要自己编程吗？还是说可以在现有的包的命令中设置某参数来调？