1.爬虫本爬虫使用python，用到的包有requests, bs4, pandas, re。代码逻辑没有加入多线程多进程异步等加快速度，目的是防止ip被ban，这个地方见仁见智。整套爬下来要快一天的时间，和目标网站的速度也有关系。
2.数据
数据包括概览页数据和详情页数据两个部分。
概览页：http://stockdata.stock.hexun.com/zrbg/Plate.aspx?date=2019-12-31。这个网页要爬下来是有点东西的，因为是异步加载，不能直接获取网页源码来分析，所有的字段都有。

详情页：http://stockdata.stock.hexun.com/zrbg/stock_bg.aspx?code=000402&date=2019-12-31详情页就没有异步加载了，可以通过直接获取网页源码来分析。但是最难的地方就是繁琐了，极其繁琐，字段很多所以要做很多重复工作。

关系：需要先获取概览页的证券代码，然后才能组成URL爬取详情页，所以代码逻辑是先爬概览页，这个很快几分钟就好了，然后拿到证券代码后再爬详情页。
3.价格
代码30元，代码和10年数据打包50元，个别年份购买按照下面方式联系
4.爬虫定制
站内或短信联系1789⑦899⑤39

详情页字段（也可在附件中下载免费样本）：
stkcd
评级得分
行业整体评级得分
全市场整体评级得分
行业内得分排名
全市场得分排名
股东责任
盈利
净资产收益率
总资产收益率
主营业务利润率
每股收益
每股未分配利润
成本费用利润率
偿债
速动比率
流动比率
现金比率
股东权益比率
资产负债率
回报
分红融资比
股息率
分红占可分配利润比
信批
交易所对公司和相关责任人处罚次数
创新
产品开发支出
技术创新理念
技术创新项目数
员工责任
绩效
职工人均收入
员工培训
安全
安全检查
安全培训
关爱员工
慰问意识
慰问人
慰问金
供应商、客户和消费者权益责任
产品质量
质量管理意识
质量管理体系证书
售后服务
客户满意度调查
诚信互惠
供应商公平竞争
反商业贿赂培训
环境责任
环境治理
环保意识
环境管理体系认证
环保投入金额
排污种类数
节约能源种类数
社会责任
贡献价值
所得税占利润总额比
公益捐赠金额

201x-12-31-csr.xlsx 指的是概览页；201x-12-31.xlsx指的是详情页。