楼主: 铁锷未残
1679 2

[统计软件] 爬虫存储数据丢失 [推广有奖]

魔猎大盗

已卖:1227份资源

学术权威

99%

还不是VIP/贵宾

-

TA的文库  其他...

杂七杂八

威望
2
论坛币
132626 个
通用积分
16010.8453
学术水平
860 点
热心指数
1130 点
信用等级
805 点
经验
1727474 点
帖子
10753
精华
0
在线时间
3739 小时
注册时间
2011-11-7
最后登录
2023-3-7

初级热心勋章 初级信用勋章 中级热心勋章 高级热心勋章

楼主
铁锷未残 学生认证  发表于 2018-9-13 23:27:16 |AI写论文
20论坛币
当前使用的python版本是3.6

from bs4 import BeautifulSoup
import requests
url = "http://news.cdu.edu.cn/index.php?m=news&a=slist&cat_id=2"
r = requests.get(url)
r_text = BeautifulSoup(r.text, "lxml")
titles = r_text.select("li > a.fl")

# 可以打印出全部20条爬取的信息
for i in titles:
    print(i.get_text())

# 只能存储第一条爬取的信息
for i in titles:
    data = {'title': i.get_text()}

请问这是怎么回事啊,谢谢各位坛友的帮助。

关键词:beautiful Request Titles import Select
世界上没有谁优不优秀,逼到绝路谁都卓越;有了退路,谁都平庸;世界上有条很长很美的路叫做梦想,还有堵很高很硬的墙叫现实;翻越那堵墙,叫做坚持;推倒那堵墙,叫做突破。

沙发
macc891207 学生认证  发表于 2018-9-14 13:24:48
# 可以打印出全部20条爬取的信息
titletext=[]
for i in titles:
    titletext.append(i.get_text())
    print(i.get_text())



data = {'title': titletext}

藤椅
macc891207 学生认证  发表于 2018-9-14 13:26:12
你最后的循环每提取一次文本就要覆盖一次字典,结果只能保存最后一条title了
已有 1 人评分论坛币 收起 理由
iRolly + 10 热心帮助其他会员

总评分: 论坛币 + 10   查看全部评分

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
jg-xs1
拉您进交流群
GMT+8, 2026-1-5 14:49