爬虫高手请进

目标网址：http://www.100ppi.com/sf/
生意社网站上每天都会更新各大品种的现货价格与期货价格，如何能把指定日期的现货价格数据与期货价格数据爬取下来，并保存成xlsx或者csv格式，请各位大神帮忙给爬虫一下。如能成功爬取指定日期的数据，论坛币可再增加，在此先表示感谢。
爬取完成后保存的格式如下：

商品	现货价格	近月代码	近月价格	基差1	主力代码	主力价格	基差2	交易所

1. import requests
   
2. import re
   
3. import pandas as pd
   
4. 
   
5. model = '<tr  align="center"  bgcolor="#fafdff">.*?target=_blank>(.*?)</a>'\
   
6.       + '.*?<td>(.*?)</td>'\
   
7.       + '.*?<td>(.*?)</td>'\
   
8.       + '.*?<td>(.*?)</td>'\
   
9.       + '.*?<font color=.*?>(.*?)</font>'\
   
10.       + '.*?<font color=.*?>(.*?)</font>'\
    
11.       + '.*?<td>(.*?)</td>'\
    
12.       + '.*?<td>(.*?)</td>'\
    
13.       + '.*?<font color=.*?>(.*?)</font>'\
    
14.       + '.*?<font color=.*?>(.*?)</font>'
    
15. 
    
16. pattern = re.compile(model, re.S)
    
17. 
    
18. col = ['商品','现货价格','近月代码','近月价格','基差1_1','基差1_2','主力代码',
    
19.        '主力价格','基差2_1','基差2_2']
    
20. 
    
21. def getURLdata(date, excelpath=None):
    
22.     #date = '2017-09-14'
    
23.     url = r'http://www.100ppi.com/sf/day-{}.html'.format(date)
    
24.     html = requests.get(url)
    
25.     text = html.text
    
26.    
    
27.     #交易所
    
28.     markets = ['上海期货交易所', '郑州商品交易所', '大连商品交易所']
    
29.     mktlist = []
    
30.     for mkt in markets:
    
31.         mktlist.append(text.find(mkt))
    
32.    
    
33.     df = pd.DataFrame()
    
34.     for i in range(3):
    
35.         if i == 2:
    
36.             end = len(text)
    
37.         else:
    
38.             end = mktlist[i+1]
    
39.         
    
40.         start = mktlist[i]
    
41.         dataone = re.findall(pattern, text[start:end])
    
42.         dfone = pd.DataFrame(dataone, columns=col)
    
43.         dfone['交易所'] = markets[i]
    
44.         df = df.append(dfone)
    
45.    
    
46.     #删除"&nbsp;"
    
47.     for k in ['现货价格','近月代码','近月价格','主力代码','主力价格']:
    
48.         df[k] = df[k].apply(lambda x: x.replace("&nbsp;", ''))
    
49.    
    
50.     #保存excel
    
51.     if excelpath is None:
    
52.         excelpath = r'D:\{}.xlsx'.format(date)
    
53. 
    
54.     df.to_excel(excelpath, index=False)
    
55.    
    
56. if __name__ == '__main__':
    
57.     #请设置日期和excel保存地址
    
58.     date = '2017-09-13'
    
59.     excelpath = None
    
60.    
    
61.     getURLdata(date, excelpath)

复制代码

如果有iFind，上面可以直接下载生意社的数据。

xugonglei 发表于 2017-9-15 23:28
如果有iFind，上面可以直接下载生意社的数据。

iFind得花钱吧，这个是同花顺出的一个跟wind类似的产品。

xugonglei 发表于 2017-9-15 23:28
如果有iFind，上面可以直接下载生意社的数据。

iFind上面主要是库存数据，估计都是从交易所爬取的。没有现货价格与基差数据。

ifind的确是付费的

ifind有日度价格数据的历史记录，我就是用这个的。

此贴还有效么？有的话就写一个

fengxingliulizi 发表于 2017-9-18 10:08

你可以呀，这么快回复了

残阳_等待 发表于 2017-9-18 10:24
你可以呀，这么快回复了

我上班第一件事是先逛人大论坛，再逛知乎。
我下班的倒数第几件事是再逛人大论坛，逛知乎。

fengxingliulizi 发表于 2017-9-15 22:57

非常感谢大神，已经将您的答案设置为最佳答案，谢谢！