爬虫时Select选择某类，返回却为空，不解，请专业前辈指点一下！万谢！

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

最近在学爬虫，准备从新闻类的网站开始，选择了新浪的国内新闻网页https://news.sina.com.cn/china/
但在爬取网页下的内容时，却爬取不到，返回为空，如图片所示。
所用的代码如：
import requests
from bs4 import BeautifulSoup #部析网页元素
rqrs=requests.get("https://news.sina.com.cn/china/")
rqrs.encoding="utf-8"
soup=BeautifulSoup(rqrs.text,'lxml')#解析HTML，指定使用普析器 lxml
print(type(soup))
print(soup.select('title'))#将含有 feed-card-item类的内容取出来
print(soup.select('.feed-card-item'))#将含有 feed-card-item类的内容取出来

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：网页元素 新闻网页 国内新闻 新闻类 新闻网

你好，可以试试 soup.find("h2", {"class":"undefined"}).text

1. feed-card-item

复制代码

是通过 javascript 动态生成的。不是在静态 html 页面。

直接通过访问

1. https://feed.sina.com.cn/api/roll/get?pageid=121&lid=1356&num=20&versionNumber=1.2.4&page=2&encode=utf-8&callback=feedCardJsonpCallback&_=1543553942869

复制代码

抓取

fledna 发表于 2018-11-30 12:59
是通过 javascript 动态生成的。不是在静态 html 页面。

直接通过访问

好的，谢谢！
我想问一下，是如何确认这种动态类型，并找到正确的链接，需要什么技巧，方便指导一下？

您好，如果您的求助没有解决，请到项目交易发布需求，会有更快更专业的用户帮助您 https://bbs.pinggu.org/prj/

项目交易是为用户提供需求的平台，可以在平台发布你需求，也可以展现你的技术帮助他人，从而得到相应的报酬。

万木青 发表于 2018-11-30 14:03
好的，谢谢！
我想问一下，是如何确认这种动态类型，并找到正确的链接，需要什么技巧，方便指导一下？

使用“查看网页源代码”工具。

万木青 发表于 2018-11-30 14:03
好的，谢谢！
我想问一下，是如何确认这种动态类型，并找到正确的链接，需要什么技巧，方便指导一下？

使用“查看网页源代码”工具。

fledna 发表于 2018-12-1 18:10
使用“查看网页源代码”工具。

我上面的图那样子算？是用谷歌浏览器查找的界面