【转载】[水煮经管] 咨询行业数据收集

原帖在此，二楼全文转载：https://bbs.pinggu.org/thread-3497888-1-1.html
请原作者tingloo@msn.com 前来此贴领取一千币奖励（任意留言或谈一谈心得体会/感言均可）
也欢迎大家积极发挥共享精神，积极为共同的交流平台添砖加瓦！

“豁达统计人”是一个公益账号，用于没有论坛账号的前辈和朋友临时使用账号来登录论坛、支持论坛活动。happy版主发起过支持公益账号捐赠活动，欢迎大家积极捐赠（https://bbs.pinggu.org/thread-3538128-1-1.html）。

原帖如下——因为此贴获得一千币奖励（happy哥自费赞助）


这个咨询行业呢，我很早就说过，咨询的一切基础是数据，比如说，我现在有一个公司，这个公司需要知道自己的发展道路是什么，那么其实他完全没有必要去专业的咨询公司做一个咨询，如果我有远见，那么我必然不需要咨询，如果我是个草包，那其实咨询了也没什么用，但是如果我这个企业想要知道我在行业中的地位等等情况，就需要一个完整的行业数据库，这个是一杯地方所没有的，那么有这些数据的公司的咨询报告就会很准确，而如果没有这些数据，其实咨询的结果几乎是没用的。那么其实咨询公司会很重视一个人搜寻数据和抓取数据的能力的。

那么呢，这个数据通常不是一般的数据，比如说，没有人让你找那些什么中国50年每年的GDP的数据，这种数据是没有意义的，一般都是那种最新的或者是很有趣的数据，一般有趣的数据都需要经过人力的处理。第一个呢就是最新的数据，比如说现在让你去找第三季度的我国钢铁产量，这个东西你去数据库里面是找不到的，因为数据库通常都会比较慢，那么途径就是新闻，本来我基本不相信新闻的说法，但是后来发现大家都是这么干的，我也就放心了。

下面说一下搜新闻的问题，第一，新闻都是有关键字和关键词的，对于一般网站，这种东西一般木有，有的专业性的网站是屏蔽百度的，所以第一，就是要使用google，因为百度是很多网站都很烦的，而且google的搜索引擎明显先进很多。第二个，就是很多的东西其实是屏蔽所有搜索的，但是他这个网站总要有一些东西是不会屏蔽的，所以通过这些不被屏蔽的东西就可以搜索到网页，然后再根据自己的需要在网站上面找。比如，你要搜中国第三季度的钢铁产量，就会出现可能找不到，你这个时候就去搜中国第三季度工业产值，然后点进去查找钢铁的产量。

新闻通常会有一些夸张的成分，所以一定要看几个网站的新闻数据然后才把这个数据记录下来，否则通常会出现严重的错误。一般要以行业网站为主，或者以官方网站为主，而且，这些行业网站通常会相互的攀比，折旧给我们找数据提供了大量的方便，比如，你去找中国的第三季度汽车生产单位能耗的情况可能查不到，汽车行业的网站上面可以都木有，那么你就去新能源汽车的行业里面找，里面应该会说，新能源汽车的生产单位能耗是多少，和传统汽车相比是怎么样的情况。

这个从新闻里面找数据其实是在考察你的变通能力，有的东西要变通的去找，比如你找中国的汽车产量可能找不到，但是有的新闻里面会说，美国的汽车产量是多少，比中国多（少）多少，你应该差不多能知道中国的产量了。至于这些新闻的数据是从哪里来的，这个我还真的说不好，我个人估计么，大部分是记者在采访的时候那些领导自己说的，应该还算是比较对的，起码不能说是错的。

下面来说那种最复杂的，咨询一般需要的都是这种数据，也就是说，这些数据是要经过处理的，不是直接能够使用的。比如，那次我找中国GDP的单位能耗和美国GDP的比较，就出现了一定的问题，因为美国式按照单位标准油来处理的，而中国式按照标准煤来处理的，于是一帮经济学家计算的中国的单位能耗是美国的8倍式错的，标准油和标准煤的计算式有一个比例的，大概是1.7倍，所以其实中国大概是美国的4-5倍左右，而不是8倍。

这仅仅是一种简单的计算，有的数据是要经过很多的计算的，当然这些计算的数据是会出现误差，但是其实统计局的数据误差会更大，而且就算是某个机构的专业数据库他也就只能紧紧保证可以使用，而不能保证完全正确。这个当然是考验很多能力，几乎每个报告和新闻都要看，要知道这个数据是怎么来的，经过了怎么样的计算等等，反正是一个很复杂很麻烦的东西，一般我自己都不怎么喜欢去做。

当你发现这个数据确实找不到的时候，就用google把你能想到的关于这个主题的东西都搜索一遍，然后去详细的看每一个检索的结果，大概在30页之内的结果都是有意义的，所以我的建议是看最少30页唉换个主题搜索，每个东西能点的都点进去看一下，没准就会出现意想不到的收获。

找好的数据一定要去记录来源，这个是正规的模式，要注明出处，其实我个人觉得这么做是因为事后方便你自己检查这些数据，因为在大部分时候，当你搜索了一次以后就很难再用同样的方法来一次，很多东西都是一次运气好找到了，后面就再也找不到了。而且通常为了保证数据的正确性就要有一个来源，否则人家也不知道你这个是怎么来的。

当然，其实咨询公司让你找数据就是为了测试你的能力，其实他们用的数据都是他们买来的，这么说吧，比如说中国的每天地钢铁产量其实是有专门的国家政府部门在做的，这个数据库只有钢铁企业会去买，水泥行业的数据库就只有水泥厂家会有，但是这些咨询公司把这些数据库都买下来，然后他就能去作横向的汇总了，但是别人都做不了。

我是建议么，有个人大经济论坛，里面的数据库是比较全的，但是要一个注册的用户名，而且这个用户名要在1年后才能下载东西，所以建议童鞋们现在就去从注册一个，这个论坛每天有5个金币的免费赠送，但是需要点击一下，所以建议每天都坚持做一下，只需要登陆点一下即可，以后就可以下载东西了。里面的数据是很全的，而且里面隐藏着大量的数据牛逼人，几乎什么数据都能拿到，只要你有足够多的金币，他们就可以给你找到，常年在那个地方混的表示那个地方确实是非正常人类聚集的地方。

我国目前有四个官方数据库，万德，大智慧，万国，还有一个忘了，其中万德是主要的数据库，但是数据太少，而且大部分数据都是官方的，错误很多，大智慧是给炒股的人和行研的人做的，收费比较高，一般机构可能都用不起，万国是不给一般机构用的，但是其实，中国数据库最全的是中经网，但是中经网是不往外面给数据的，每年的各个行业的年底汇总，这些行业的人自己都要从这个网站上面拿数据出来做，他们自己的数据库都没有这个地方的全。一般数据库的使用费用是一年30万，标准可能会有不同，比如说一般万德是一个公司用一个整体的端口，然后收一份比较大的费用，至于几个人使用就没关系了。

当然，数据的重要性是很高的，所以我个人自己也是有数据库的，只不过都是数据的观赏性不高，整体性也不强，我仅仅能保证是对的，但是肯定不是官方数据，天天整理数据会死人的，当然，如果需要，我确实会整理，比如我闲杂就在整理整个股市的全部资料，于是半年后完成。

就这些，写没写清楚的再说吧，没写清楚的可以问。

@ zhuosn 你得多多参与五区的讨论啊，少了你们这些大拿们的鼎力支持，五区即将沦陷呐。

已经过期的悬赏，请“豁达统计人”来收割一下论坛币，顺便为论坛做贡献。