【爬虫】和讯网企业社会责任2010-2019年数据整理及详细代码（python+stata）

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

      本帖提供和讯网企业社会责任数据爬虫及数据整理代码供大家学习参考。                        

      步骤一：数据爬取。爬虫用到python的requests、demjson和pandas三个模块，通过更改参数分年度下载，其中：
      1.requests模块是向服务器发起请求
      2.demjson适用于解析非标准json字符串
      3.pandas用于数据整理和输出结果
      步骤二：数据整理。用stata的xls2dta命令批量导入并合并多个excel文件。

以下为过程文件展示截图：

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏3 回帖

关键词：python 企业社会责任 Stata 数据整理 社会责任

水上浮萍1996 发表于 2021-1-17 17:50
本帖提供和讯网企业社会责任数据爬虫及数据整理代码供大家学习参考。                        

   ...

怎么没办法买哇

祥梓 发表于 2021-2-1 22:11
怎么没办法买哇

如果有需要，可以加一下我的qq，617828755。

你好，请问你在爬取和讯网时，有没有出现403报错，被误认为是黑客爬取，你是怎么解决

请问为何无法购买呢

cunluo～(^з^)-☆ 发表于 2021-3-23 11:28
你好，请问你在爬取和讯网时，有没有出现403报错，被误认为是黑客爬取，你是怎么解决

和讯网还是比较友好的，没有特别的反爬机制，我也就是请求的时候设置了一下headers，然后解析的时候用demjson解析了非标准的json字符串，整个过程没有很复杂。没有遇到您说的这种情况，不好意思哈~

谢谢分享，已购买。

你好，我已经购买但无法下载，请问可以发一份到我的邮箱吗？
110360879@qq.com
谢谢楼主！

苟岂子 发表于 2021-4-6 21:35
你好，我已经购买但无法下载，请问可以发一份到我的邮箱吗？
110360879@qq.com
谢谢楼主！

已发，请查收。

苟岂子 发表于 2021-4-6 21:35
你好，我已经购买但无法下载，请问可以发一份到我的邮箱吗？
110360879@qq.com
谢谢楼主！

已发，请查收。