楼主: 铁锷未残
2606 3

[问答] 爬虫过程中数据缺失 [推广有奖]

魔猎大盗

学术权威

99%

还不是VIP/贵宾

-

TA的文库  其他...

杂七杂八

威望
2
论坛币
132537 个
通用积分
15960.3769
学术水平
856 点
热心指数
1126 点
信用等级
801 点
经验
1633631 点
帖子
10762
精华
0
在线时间
3739 小时
注册时间
2011-11-7
最后登录
2023-3-7

初级热心勋章 初级信用勋章 中级热心勋章 高级热心勋章

20论坛币
当前使用的python版本是3.6

from bs4 import BeautifulSoup

import requests
url = "http://news.cdu.edu.cn/index.php?m=news&a=slist&cat_id=2"
r = requests.get(url)
r_text = BeautifulSoup(r.text, "lxml")
titles = r_text.select("li > a.fl")

# 可以打印出全部20条爬取的信息
for i in titles:
    print(i.get_text())

# 只能存储第一条爬取的信息
for i in titles:
    data = {'title': i.get_text()}

请问这是怎么回事啊,谢谢各位坛友的帮助。

最佳答案

fengxingliulizi 查看完整内容

for i in titles: data = {'title': i.get_text()} 以上代码是个很低级的错误,你对比一下下面的代码和上面的代码什么区别 data = [] for i in titles: dataone = i.get_text() data.append(dataone) data_dict = dict({'title':data})
关键词:数据缺失 beautiful Request import Quest
世界上没有谁优不优秀,逼到绝路谁都卓越;有了退路,谁都平庸;世界上有条很长很美的路叫做梦想,还有堵很高很硬的墙叫现实;翻越那堵墙,叫做坚持;推倒那堵墙,叫做突破。
沙发
fengxingliulizi 发表于 2018-9-13 23:15:52 |只看作者 |坛友微信交流群
for i in titles:
    data = {'title': i.get_text()}

以上代码是个很低级的错误,你对比一下下面的代码和上面的代码什么区别

data = []
for i in titles:
    dataone = i.get_text()
    data.append(dataone)

data_dict = dict({'title':data})

使用道具

藤椅
杨Yuer参上 发表于 2018-9-27 20:55:55 |只看作者 |坛友微信交流群
你把字典中所有的key都设置同一个值....能有第二条数据吗

使用道具

板凳
杨Yuer参上 发表于 2018-9-27 20:56:46 |只看作者 |坛友微信交流群
直接按照上面的坛友的方法, 放到列表里面吧

使用道具

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-4-19 20:16