请问 python 爬虫如何获取表格数据呢？

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

我现在想用 python 爬取校友捐赠的信息做一些简单的数据分析，网页在这里：

http://alumni.xjtu.edu.cn/donation/namelist

内容示例如下：



上面有很多页，比如我想爬取前100页的数据，并存入到一个 Excel 表格中，请问该如何做呢？ 希望能给出建议或者类似的 python 代码，非常感谢！

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏4 回帖

关键词：python 表格数据 Nation EXCEL ATION python 爬虫 表格

我也不太会，不过应该用url库吧，你试试自己学下Python吧。或者淘宝找人吧。你要不急我月底可以帮你做，哈哈。我也在自学，学艺不精，帮不上什么。

还想做的话，私信我

周小淦 发表于 2016-4-11 22:16
我也不太会，不过应该用url库吧，你试试自己学下Python吧。或者淘宝找人吧。你要不急我月底可以帮你做，哈哈 ...

嗯，可以共同交流，一起学习

不错，我也想学

我写了个程序，会在楼下贴出来，时间原因只测试了下载2页纸，没有问题，100页应该问题也不大

# -*- coding: utf-8 -*-
import requests
import sys
from lxml import etree
import pandas as pd
from multiprocessing.dummy import Pool as ThreadPool

reload(sys)
sys.setdefaultencoding("utf-8")

Name=[]
Money=[]
Project=[]
Date=[]
Style=[]
User_type=[]
page=[]
def spider(url):
    html=requests.get(url).text
    html=html.encode("utf-8")
    selector = etree.HTML(html)
    field=selector.xpath('//table[@class="table table-striped table-bordered"]')[0]
    content=field.xpath('tr')
    for each in content:
        list=each.xpath('td')
        name=list[0][0]
        name=name.xpath('string(.)').replace('\t','').replace(' ','')
        money=list[1].xpath('string(.)').replace('\t','').encode("utf-8")
        money=money.split()[0]
        project=list[2][0]
        project=project.xpath('string(.)').replace('\t','').replace(' ','')
        date=list[3][0]
        date=date.xpath('string(.)').replace('\t','').replace(' ','')
        style=list[4][0]
        style=style.xpath('string(.)').replace('\t','').replace(' ','')
        user_type=list[5][0]
        user_type=user_type.xpath('string(.)').replace('\t','').replace(' ','')
        Name.append(name)
        Money.append(money)
        Project.append(project)
        Date.append(date)
        Style.append(style)
        User_type.append(user_type)
for i in range(1,101):
    newpage='http://alumni.xjtu.edu.cn/donation/namelist?pageNo='+str(i)+'&pageSize=10&billnum=&donateUserName=&orderWay=&donationid=0'
    page.append(newpage)
# 我的电脑是双核，所以下面是2，根据自己电脑情况来定，也可以把下面一句删了，运行会慢一点
pool = ThreadPool(2)
pool.map(spider,page)

data={'Name':Name,'Money':Money,'Project':Project,'Date':Date,'Style':Style,'User_type':User_type}
data=pd.DataFrame(data)
data.to_csv('donation.csv',encoding='gbk')

结果跟附件里差不多

渲潇依旧 发表于 2016-5-18 18:43
# -*- coding: utf-8 -*-
import requests
import sys

非常感谢，好好学习一下你的代码！

请问  name=list[0][0] 这里使用了两次[ ][ ]，下面的程序里第二个[ ]一直是0，好像没有用到？