【投入产出系列第5期】独家发布-Eora投入产出表数据整合+清洗+调平python代码

相似文件 换一批

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

首先声明：这是本人原创的数据清洗代码，仅此一家，并非从别人哪里获取的

项目说明：Eora官方的数据是txt格式（如Eora26_1990_bp_FD.txt和Eora26_1990_bp_T.txt），并非完整数据没法直接用，本人写了个python脚本用于合并数据，并清洗国家代码、产业代码、配平为可用于计算的投入产出表

数据时间跨度：1990——2016，26个产业，189个国家（官方宣传的190国家实则代码SUD和SDN均表示苏丹，这里是为了与国际贸易数据库做匹配，因此保留SUD，删SDN）

测算难点

1 官方提供的零散的txt文档，行数多，需要专业文本处理软件或者pandas或者R等专业数据分析工具才能显示正确格式，因此需要批量组合数百个txt文档并调平投入产出表

2 国家名称各年份顺序不一致，为了保证运算结果易于查找，需要按A-Z对国家名称排序

3内存危机，相比于wiod/oecd/adb投入产出表的测算，EORA26的矩阵占内存更大，进行价值链分解时一个变量动辄几个G，因此需要改进测算ADB和OECD的测算代码，在保证结果准确基础上实现矩阵稀疏化、动态内存规划、并行运算等操作。

4 关于个人改进的R语言代码是否能准确计算价值链指标：用改进后的代码测算了ADB和OECD投入产出表，测算结果与改进UIBE官方测算结果一致（运算时间缩短30%）

但仍然受限于机器性能（i7 9700，16G内存，12线程，500G固态，完整代码运算时间目测30天），因此Eora投入产出表目前仅完成了数据清洗和可计算的投入产出表构建、一部分中间值分解，一部分价值链长度测算，但是代码是准确无误可以直接运行的（11代i7 更高线程数的电脑应该能在一周内运算出结果）

程序列表：

step1_combineEORA26.py

step2_clean_namefile.py

step3_further_cleaningEORA(Allyear).py

step4_Prepare_before_calc.py

以下购买链接：

eora清洗后的数据及代码.txt (121 Bytes, 需要: RMB 800 元)

2022-7-13 19:49:45 上传

需要: RMB 800 元  [购买]

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏7 回帖

关键词：python 投入产出表 投入产出 数据整合 入产出

请问python代码在哪儿啊

FrancisYoung 发表于 2022-8-31 03:00
请问python代码在哪儿啊

帖子里有购买链接

请问楼主，EORA数据库说明里面不是说已经调平了吗？

zj925696909 发表于 2022-9-5 20:47
请问楼主，EORA数据库说明里面不是说已经调平了吗？

数据清洗的最终目的是为了调成可计算的io表 此时需要调平

作者用心了，厉害！其实IMF 有篇2017年的workingpaper，专门用matlab代码以Eora_2000为例，解读计算投入产出表。写的非常好。可惜我用不惯，就用stata重新编写代码，确实运行很慢呀。不过最后开机慢慢熬，也能算下来。

大熊猫123 发表于 2023-1-3 09:17
作者用心了，厉害！其实IMF 有篇2017年的workingpaper，专门用matlab代码以Eora_2000为例，解读计算投入产 ...

请问能否告知是哪篇文章

已买数据了啦

大熊猫123 发表于 2023-1-3 09:17
作者用心了，厉害！其实IMF 有篇2017年的workingpaper，专门用matlab代码以Eora_2000为例，解读计算投入产 ...

求告知论文名字，十分感谢。

楼主太牛啦！！！