〖R语言〗参议员协作网络部分的代码精简

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

      

书籍来源+源代码+简化代码部分

      Automated Data Collection with R 第一二章的代码烦的一笔，花了一天的时间对代码进行了优化。

书籍来源
[书籍介绍] Automated Data Collection with R
本文来自: 人大经济论坛 R语言论坛 版，详细出处参考： https://bbs.pinggu.org/forum.php?mod=viewthread&tid=3318359&page=1&from^^uid=3495972

——素质版主  补充

1、源代码

---

1. library(rvest)
   
2. library(RCurl)
   
3. 
   
4. #Generate empty folder
   
5. dir.create("Bills_111/")
   
6. 
   
7. # Iterate over all 4059 pieces of legislation
   
8. for(i in 1:4059){
   
9.     # Generate the unique URL for each piece of legislation
   
10.     url <- str_c(
    
11.         "http://thomas.loc.gov/cgi-bin/bdquery/D?d111:",
    
12.         i,
    
13.         ":./list/bss/d111SN.lst:@@@P"
    
14.     )
    
15.     # Download the page
    
16.     bill.result <- getURL(url)
    
17.     # Write the page to local hard drive
    
18.     write(
    
19.         bill.result, str_c(
    
20.             "Bills_111/Bill_111_S",
    
21.             i,
    
22.             ".html"
    
23.         )
    
24.     )
    
25.     # Print progress of download
    
26.     cat(i, "\n")
    
27. }

复制代码

2、简化部分

---

1. myfun = function(i) {
   
2.              url = str_c("Bills_111/Bill_111_S", i, ".html")
   
3.              sponsors = url %>% html() %>% html_nodes("div a") %>% html_text() %>% .[[15]] %>% gsub("Sen","",.)
   
4.              cosponsors = url %>% html() %>% html_nodes("p a") %>% html_text() %>% .[-1] %>% gsub("Sen","",.)
   
5.              list(sponsors,cosponsors)
   
6.             }
   
7. 
   
8. sponsor.list = lapply(1:4059,myfun)
   
9. 
   
10. sponsor.list[[1]][1] = " Reid, Harry"
    
11. 
    
12. all.senators = sponsor.list %>% unlist %>% unique %>% sort %>% .[-length(.)] #109个参议员
    
13. 
    
14. # Create a matrix of sponsors
    
15. 
    
16. sponsor.matrix = matrix(NA, nrow = 4059, ncol = length(all.senators))
    
17. colnames(sponsor.matrix) = all.senators
    
18. rownames(sponsor.matrix) = paste("S.", seq(1, 4059), sep ="")
    
19. 
    
20. for(i in 1:length(sponsor.list)){
    
21.     sponsor.matrix[i, which(all.senators == sponsor.list[][1])] = "Sponsor"
    
22.     sponsor.matrix[i, which(all.senators %in% unlist(sponsor.list[][2]))] = "Cosponsor"
    
23.     }
    
24. 
    
25. > sponsor.matrix[30:35,31:34]
    
26.       Cornyn, John  Crapo, Mike  DeMint, Jim  Dodd, Christopher J.
    
27. S.30 NA            NA           NA           NA                  
    
28. S.31 NA            NA           NA           NA                  
    
29. S.32 NA            NA           NA           NA                  
    
30. S.33 NA            NA           NA           NA                  
    
31. S.34 "Cosponsor"   "Cosponsor"  "Sponsor"    NA                  
    
32. S.35 "Cosponsor"   NA           NA           NA  

复制代码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享1 收藏0 回帖

关键词：R语言 协作网 参议员 Legislation christopher 参议员 网络 参议员 网络

好帖，感谢分享。

great~