[分享]数据采掘和处理小结-经管之家官网！

做实证研究时，数据是关键。如何有效的对数据进行采掘和处理，是关键中的关键。
一般而言，从方便性角度出发，我们先将原始数据采掘至EXCEL中进行简单的预处理和运算后，再导入相关的经济分析软件中进行专业分析。下面将自己最近摸索和发现的一些实战方法和技巧拿出来，和大家一起分享一下。
技巧一：破解提取限制，巧妙采掘数据。
“你越不让我提取，我越是想要提取。”很多时候，当大家想要复制网上的数据或文字时，往往被告知限制或禁止复制。这很让人头疼，特别是大段大段的文字，大批大批的数据，正是我想要的，正是我急需的。火烧眉毛了，我该怎么办？
解决方案如下：
1 首先，从最简单的入手，将网页另存为MHT格式的本地页面后，看能否可以复制。不行的话，转到2。
2 点击页面，然后使用程序（如Frontpage、Dreamweaver等）对网页进行编辑。从软件里提取你想要的东西。如果这个选项也不行的话，转到3，逼我使用绝招了。
3 打开SnagIt（以V8.3为例），这可是个抓屏高手，没有的话赶紧装一个。可以用它来进行抓屏（页面超过一屏的话可以对页面进行滚动，满足你的胃口），当然仅仅抓取屏幕，以图片方式返回给你并不能满足你对其中关键性文字和数据的急切的desire，此时切换到“文本捕获”，你就可以为所欲为了。此外，值得提醒的是，在进行文本捕捉的时候，由于要进行逐行的文本吸取，所以如果需要提取的文本超过一屏而需要滚动的话，最好是设置一下捕捉参数（点击菜单的捕获--输入--属性--滚动--滚动延时--设置成500ms以上）。将页面最大化，然后其他窗口最小化，按一下热键PrintScreen，然后单击鼠标左键，然后耐心等待，最后将输出的结果复制到记事本等文字处理软件里或者直接保存为文本文件即可。
技巧二：EXCEL，我是数据处理之王
作为数据处理能手，EXCEL拥有强大的运算功能。这里以EXCEL2007为例，就实证研究常用的一些功能举例一下。
1 行列转置
操作方法：选中数据区域--点击右键复制--粘贴时选择选择性粘贴--勾选转置选项。
常见应用：采集数据时，经常需要将时间和变量的行列次序进行调换，即行转换成列，列转换成行。
2 排序
操作方法：先自己建立一个标识序列（智能填充为1-N）--选中整个数据区域（包括标识序列）--然后选择排序--自定义排序--按自定义关键字（为已定义的标识序列）进行升序或降序排列。
常见应用：需要将数据的所有行倒置，如从上到下2008-2001的数据区，可以倒置成2001-2008的目标数据区。此时标识序列可填充为1-8，然后选中整个数据区，选择降序排列。
3 函数运算
操作方法：数据输入窗口中输入目标函数，通过函数表达式计算目标值。
常见应用：如对数据取对数：LN(X)等。算完一个单元格后，向下拉，通过智能填充自动算出该列所有目标值。注意：当把一个通过公式计算出来的列数据复制到另一张表的时候，很可能会出现#REF!提示，表明缺少参数系，所以粘贴的时候，可以选择选择性粘贴，然后只需粘贴已算出的数值即可。
4 数据导入
操作方法：打开EXCEL主程序--文件类型选择为打开文本文件--然后进入文本导入向导--可以选择以分隔符号或固定宽度分隔数据--我们这里选择分隔符号--选择空格并勾选连续分隔符号视为单个处理--完成。
常见应用：从TXT里成批导入数据恐怕是最令人心动的功能了。如有一批来自于TXT里的数据，数据之间以空格间开，我们则可以采用上面的操作方法进行批量导入。注意，如果单元格宽度不够的话而导致数据无法显示（######）的话，则选择自动调整列宽即可。
5 数据显示格式
操作方法：选择目标序列，点击右键--设置单元格格式--常用的有数字、货币等，还可以自定义格式。
常见应用：定义数据的显示格式，比如我们想让该序列的数值全部加上括号并保留两位小数的话，可以在自定义格式中自己添加规则："("0.00")" 。
限于时间关系，就写到这了，在数据处理方面，还有很多很多的实用性技巧，只要大家平时多留点心，一定能发现更多，收获更多的。