楼主: zhaozimeng
7592 17

[经管数据集] (更新)2000-2021土地转让数据(最全,含爬虫代码) [推广有奖]

学科带头人

61%

还不是VIP/贵宾

-

威望
0
论坛币
2946 个
通用积分
150.2683
学术水平
55 点
热心指数
58 点
信用等级
51 点
经验
33093 点
帖子
1945
精华
1
在线时间
2395 小时
注册时间
2019-3-22
最后登录
2024-4-24

相似文件 换一批

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
更新!(推荐)之前给大家分享了土地交易的数据 275万土地交易数据(2000-2021) 和详细的爬虫代码,今天给大家带来它的姊妹篇,2000-2021土地转让数据。
数据名称:2000-2021土地转让数据
爬虫软件:Stata 16
来源:中国土地市场网
网址:https://www.landchina.com/
截止日期:2021年3月1日
观测值:81万+
变量个数:32(详见后文)
数据特色:添加了经纬度(根据百度地图API)、添加了所在省份、所在城市和所在区县
爬了20来天,终于搞定了!这个数据虽然比不上上次土地交易数据的275万多,但81万也是非常多的。我不得不再一次强调Stata的爬虫能力,curl 还是非常好用的,特别是对付 post 请求。这里爬取的过程中也会有很多难点,比如:网站只提供前 200 页,如何爬取完整的数据呢?单一的 cookie 爬取太多页以后会触动反爬,又要如何应对呢?大量数据的爬取可能由于网络等原因,导致个别数据有问题,检查和补充完整则非常重要,我看到很多人处理的数据很不够精细,包括一些数据库,所以会了方法以后,还要有一颗细致的心和艺术的情怀。艺术的情怀?对,很多代码是需要想象力和创造力的。不太熟悉 curl 的小伙伴建议先百度找一下相关内容简单学习一下。在代码中,我也是加了非常多的注释便于大家理解。当然,并不是所有小伙伴都对爬虫代码感兴趣,如果向直接获取数据也是可以的!为了让大家更好地了解数据,在附件中提供了示例数据(根据总观测值抽样不到3%,大概又2万+观测值),大家可以免费下载查阅。
网站展示.png
具体文件说明如下(完整的附件包含如下内容,如果只需要数据,则只包含2):
数据:2000-2021中国土地转让数据
来源:中国土地市场网
网址:https://www.landchina.com/
截止日期:2021年3月1日
观测值:81万+
文件说明:
1.Chinaland2_2021文件夹中的子文件夹均为爬取过程生成的文件夹
2.最终数据:2000-2021土地转让最终数据(含经纬度).dta
3.爬虫代码
(1)土地转让(链接爬取).do——爬取第一层数据代码(主要为了获取每条信息的网址链接)
(2)土地转让(明细爬取).do——爬取第二层数据代码(明细数据)

各年观测值数量(2021年的数据截止到3月1日):
年份观测值
2000193
2001293
200210,616
200315,573
200429,335
200538,178
200635,276
200755,291
200845,422
2009136,378
2010108,488
2011102,177
201257,965
201358,541
201439,433
201534,046
201624,585
201712,221
20187,064
20192,326
20201,809
2021154

包含变量说明:
序号变量名称
1年份
2链接
3宗地标识
4宗地编号
5宗地座落
6所在省份(经纬度解析)
7所在城市(经纬度解析)
8所在区县(经纬度解析)
9地址
10经度(BD-90坐标系)
11纬度(BD-90坐标系)
12行政区名称
13行政区名称(处理后)
14行政区编码
15原土地使用权人
16现土地使用权人
17土地面积(公顷)
18土地用途
19土地使用权类型
20土地使用年限
21土地利用状况
22土地级别
23转让方式
24转让价格(万元)
25成交时间
26转让单价(万元/平方米)
27省年度转让单价均值(万元/平方米)
28市年度转让单价均值(万元/平方米)
29县年度转让单价均值(万元/平方米)
30省年度转让单价中值(万元/平方米)
31市年度转让单价中值(万元/平方米)
32县年度转让单价中值(万元/平方米)

示例数据(免费) (76 Bytes)
2000-2021土地转让数据 (76 Bytes, 需要: RMB 113 元)
2000-2021土地转让数据(全部资料 数据+代码) (76 Bytes, 需要: RMB 149 元)
2000-2021年中国土地转让分布.png
代码展示.png

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:Cookie China 土地使用权 Stata 土地交易 爬虫 土地 土地转让 经纬度 数据

回帖推荐

dm41343 发表于4楼  查看完整内容

楼主又有新帖子了
已有 1 人评分论坛币 收起 理由
日新少年 + 60 精彩帖子

总评分: 论坛币 + 60   查看全部评分

沙发
zhaozimeng 在职认证  发表于 2021-3-28 16:51:49 |只看作者 |坛友微信交流群
本帖姊妹篇,土地交易数据(更新)2000-2021土地交易数据(最全,含爬虫代码),关于数据的区别,大家可以看一下原始网站的链接就明白啦~中国土地市场网(土地出让)中国土地市场网(土地转让)
已有 1 人评分论坛币 收起 理由
日新少年 + 80 精彩帖子

总评分: 论坛币 + 80   查看全部评分

使用道具

藤椅
zhaozimeng 在职认证  发表于 2021-3-28 21:22:16 |只看作者 |坛友微信交流群
精品数据集集锦
1.(更新)1990-2019年中国上市公司数据(最全!1130个变量,含数据处理)
https://bbs.pinggu.org/thread-9401341-1-1.html
2.(更新)2003-2019中国上市公司公司治理和股权性质数据(126个变量)
https://bbs.pinggu.org/thread-9432575-1-1.html
3.(更新)2000-2019中国上市公司盈余管理数据(含处理过程)
https://bbs.pinggu.org/thread-9417872-1-1.html
4.(更新)中国上市公司基本信息(含所在省市及行政代码经纬度)
https://bbs.pinggu.org/thread-9418143-1-1.html
5.(更新)1990-2020中国上市公司人物特征(含处理过程)
https://bbs.pinggu.org/thread-9363631-1-1.html
6.(更新)2010-2019和讯网上市公司社会责任报告(含代码)
https://bbs.pinggu.org/thread-9538071-1-1.html
7.(更新)2010-2019和讯网上市公司社会责任报告明细(含代码)
https://bbs.pinggu.org/thread-9550203-1-1.html
8.(更新)1995-2020中国上市公司并购重组数据(含代码)
https://bbs.pinggu.org/thread-9574519-1-1.html
9.【爬虫】1990-2020年中国上市公司高管简历(数据+代码)
https://bbs.pinggu.org/thread-10017058-1-1.html
10.(更新)1990-2019上市公司财务报表与指标季度数据(含代码)
https://bbs.pinggu.org/thread-10257876-1-1.html
11.【更新】上市公司基本资料(含数据处理和详细经纬度)
https://bbs.pinggu.org/thread-10423733-1-1.html
12.(更新)2000-2021土地转让数据(最全,含爬虫代码)
https://bbs.pinggu.org/thread-10516466-1-1.html
13.(更新)2000-2021土地转让数据(最全,含爬虫代码)
https://bbs.pinggu.org/thread-10516466-1-1.html

使用道具

板凳
dm41343 发表于 2021-4-1 16:04:14 |只看作者 |坛友微信交流群
楼主又有新帖子了

使用道具

报纸
zhaozimeng 在职认证  发表于 2021-4-2 14:21:52 来自手机 |只看作者 |坛友微信交流群
dm41343 发表于 2021-4-1 16:04
楼主又有新帖子了
是滴,土地相关的数据,欢迎光临~

使用道具

地板
zhaozimeng 在职认证  发表于 2021-4-6 11:12:31 来自手机 |只看作者 |坛友微信交流群
zhaozimeng 发表于 2021-3-28 21:22
精品数据集集锦:
1.(更新)1990-2019年中国上市公司数据(最全!1130个变量,含数据处理)
https ...
土地市场网土地转让数据

使用道具

7
zhaozimeng 在职认证  发表于 2021-4-14 10:42:35 来自手机 |只看作者 |坛友微信交流群
zhaozimeng 发表于 2021-3-28 16:51
本帖姊妹篇,土地交易数据(更新)2000-2021土地交易数据(最全,含爬虫代码),关于数据的区别,大家可以 ...
2000-2021土地抵押数据也处理好了,一共41万多的数据,也有爬虫的全部代码,帖子发不出来,总说有不良信息,有需要的私聊吧~

使用道具

8
zhaozimeng 在职认证  发表于 2021-4-19 14:29:03 来自手机 |只看作者 |坛友微信交流群
zhaozimeng 发表于 2021-4-14 10:42
2000-2021土地抵押数据也处理好了,一共41万多的数据,也有爬虫的全部代码,帖子发不出来,总说有不良信息 ...
土地抵押的帖子已经发布出来啦,有需要的小伙伴可以查看~

使用道具

9
zhaozimeng 在职认证  发表于 2021-4-28 21:18:40 来自手机 |只看作者 |坛友微信交流群
zhaozimeng 发表于 2021-3-28 21:22
精品数据集集锦:
1.(更新)1990-2019年中国上市公司数据(最全!1130个变量,含数据处理)
https ...
土地市场网数据系列:<br>
1.(更新)2000-2021土地交易数据(最全,含爬虫代码)2000-2021土地交易数据(最全,含爬虫代码)https://bbs.pinggu.org/thread-10491869-1-1.html<br>
https://bbs.pinggu.org/thread-10491869-1-1.html<br>
2.(更新)2000-2021土地转让数据(最全,含爬虫代码)<br>
https://bbs.pinggu.org/thread-10516466-1-1.html<br>
3.(推荐)2000-2021土地抵押数据(41万+含爬虫代码)<br>
https://bbs.pinggu.org/thread-10550946-1-1.html

使用道具

10
dm41343 发表于 2021-4-30 10:30:34 |只看作者 |坛友微信交流群
zhaozimeng 发表于 2021-4-19 14:29
土地抵押的帖子已经发布出来啦,有需要的小伙伴可以查看~

使用道具

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加JingGuanBbs
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-4-24 14:18