楼主: shenciyou
8856 23

[资料] [分享]数据采掘和处理小结 [推广有奖]

博士生

30%

还不是VIP/贵宾

-

威望
0
论坛币
1210 个
通用积分
73.3488
学术水平
128 点
热心指数
125 点
信用等级
89 点
经验
2984 点
帖子
89
精华
1
在线时间
317 小时
注册时间
2008-1-1
最后登录
2023-1-12

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
做实证研究时,数据是关键。如何有效的对数据进行采掘和处理,是关键中的关键。

一般而言,从方便性角度出发,我们先将原始数据采掘至EXCEL中进行简单的预处理和运算后,再导入相关的经济分析软件中进行专业分析。下面将自己最近摸索和发现的一些实战方法和技巧拿出来,和大家一起分享一下。

技巧一:破解提取限制,巧妙采掘数据。

“你越不让我提取,我越是想要提取。”很多时候,当大家想要复制网上的数据或文字时,往往被告知限制或禁止复制。这很让人头疼,特别是大段大段的文字,大批大批的数据,正是我想要的,正是我急需的。火烧眉毛了,我该怎么办?

解决方案如下:
1 首先,从最简单的入手,将网页另存为MHT格式的本地页面后,看能否可以复制。不行的话,转到2。

2 点击页面,然后使用程序(如Frontpage、Dreamweaver等)对网页进行编辑。从软件里提取你想要的东西。如果这个选项也不行的话,转到3,逼我使用绝招了。

3 打开SnagIt(以V8.3为例),这可是个抓屏高手,没有的话赶紧装一个。可以用它来进行抓屏(页面超过一屏的话可以对页面进行滚动,满足你的胃口),当然仅仅抓取屏幕,以图片方式返回给你并不能满足你对其中关键性文字和数据的急切的desire,此时切换到“文本捕获”,你就可以为所欲为了。此外,值得提醒的是,在进行文本捕捉的时候,由于要进行逐行的文本吸取,所以如果需要提取的文本超过一屏而需要滚动的话,最好是设置一下捕捉参数(点击菜单的捕获--输入--属性--滚动--滚动延时--设置成500ms以上)。将页面最大化,然后其他窗口最小化,按一下热键PrintScreen,然后单击鼠标左键,然后耐心等待,最后将输出的结果复制到记事本等文字处理软件里或者直接保存为文本文件即可。

技巧二:EXCEL,我是数据处理之王

作为数据处理能手,EXCEL拥有强大的运算功能。这里以EXCEL2007为例,就实证研究常用的一些功能举例一下。

1 行列转置
操作方法:选中数据区域--点击右键复制--粘贴时选择选择性粘贴--勾选转置选项。
常见应用:采集数据时,经常需要将时间和变量的行列次序进行调换,即行转换成列,列转换成行。

2 排序

操作方法:先自己建立一个标识序列(智能填充为1-N)--选中整个数据区域(包括标识序列)--然后选择排序--自定义排序--按自定义关键字(为已定义的标识序列)进行升序或降序排列。
常见应用:需要将数据的所有行倒置,如从上到下2008-2001的数据区,可以倒置成2001-2008的目标数据区。此时标识序列可填充为1-8,然后选中整个数据区,选择降序排列。

3 函数运算
操作方法:数据输入窗口中输入目标函数,通过函数表达式计算目标值。
常见应用:如对数据取对数:LN(X)等。算完一个单元格后,向下拉,通过智能填充自动算出该列所有目标值。注意:当把一个通过公式计算出来的列数据复制到另一张表的时候,很可能会出现#REF!提示,表明缺少参数系,所以粘贴的时候,可以选择选择性粘贴,然后只需粘贴已算出的数值即可。

4 数据导入
操作方法:打开EXCEL主程序--文件类型选择为打开文本文件--然后进入文本导入向导--可以选择以分隔符号或固定宽度分隔数据--我们这里选择分隔符号--选择空格并勾选连续分隔符号视为单个处理--完成。
常见应用:从TXT里成批导入数据恐怕是最令人心动的功能了。如有一批来自于TXT里的数据,数据之间以空格间开,我们则可以采用上面的操作方法进行批量导入。注意,如果单元格宽度不够的话而导致数据无法显示(######)的话,则选择自动调整列宽即可。

5 数据显示格式
操作方法:选择目标序列,点击右键--设置单元格格式--常用的有数字、货币等,还可以自定义格式。
常见应用:定义数据的显示格式,比如我们想让该序列的数值全部加上括号并保留两位小数的话,可以在自定义格式中自己添加规则:"("0.00")" 。
限于时间关系,就写到这了,在数据处理方面,还有很多很多的实用性技巧,只要大家平时多留点心,一定能发现更多,收获更多的。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:Dreamweaver excel2007 和大家一起分享 Desire Screen EXCEL 技巧 如何 软件 网上

已有 4 人评分经验 论坛币 学术水平 热心指数 信用等级 收起 理由
留连 + 100 + 5 + 5 + 5 精彩帖子
primmxz + 100 + 3 + 3 鼓励积极发帖讨论
静灵 + 1 + 1 + 1 雪中送炭
jh81522 + 10 精品文章

总评分: 经验 + 200  论坛币 + 10  学术水平 + 9  热心指数 + 9  信用等级 + 6   查看全部评分

沙发
吴敬 发表于 2009-6-17 17:54:54 |只看作者 |坛友微信交流群
好有用啊!

使用道具

藤椅
dumaslin 发表于 2009-6-17 19:58:23 |只看作者 |坛友微信交流群
你好强啊!

使用道具

要早点看到,我的就可以节省很多时间啊

使用道具

报纸
bingdianxue 发表于 2009-6-27 19:53:25 |只看作者 |坛友微信交流群
好厉害,谢谢你

使用道具

地板
snow000123 发表于 2009-6-30 11:13:08 |只看作者 |坛友微信交流群
谢谢lz大人

使用道具

7
xiaozhuman 发表于 2009-7-7 09:39:39 |只看作者 |坛友微信交流群
希望多看到类似的文章
谢谢楼主!

使用道具

8
kokocc917 发表于 2009-7-16 20:31:58 |只看作者 |坛友微信交流群
从bankscope那个帖子点进来的,希望人大论坛里面多一些楼主这样真心交流的,少一些数据搜寻的过路者
已有 1 人评分经验 收起 理由
primmxz + 100 观点有启发

总评分: 经验 + 100   查看全部评分

想在我们相遇的地方一直等待,即使你不会再出现

使用道具

9
liweijunfinance 发表于 2010-8-11 11:23:17 |只看作者 |坛友微信交流群
你是一位无私的高手,支持一下

使用道具

10
hzl619 发表于 2010-8-11 23:00:52 |只看作者 |坛友微信交流群
你真是个高手 谢谢了

使用道具

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注jltj
拉您入交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-4-19 22:06