中国传媒大学电视与新闻学院沈浩(应用统计学和市场研究)11.25在线访谈

guanzhiwei04 发表于 2014-11-24 14:20
沈老师您好，我有一个粗浅的问题想请教，就是：抽样调查会被大数据的全样本分析所取代吗？

抽样调查一般是自上而下的，理论——假设——验证，大数据挖掘是自下而上，数据库——发现——知识；原则上是两种研究范式和方法论，在一定程度上说，如果能够用大数据或存在商业自动化获取的数据，可能会选择大数据挖掘方法，特别是拥有大数据的企业、机构或ZF会越来越多的采用。取代是一个很界定的词，部分吧。当然，大数据和小数据（如果存在这种说法，或说小数据就是抽样数据）可能会更融合。我个人倾向大数据会越来越多的采用并应用在过去小数据抽样数据的研究领域，但不是取代。

Dany2 发表于 2014-11-24 13:15
沈老师：你好！借此契机向您请教几个问题。
1.如今数据分析的编程语言很多，R、Python、Hadoop、SAS，作为 ...

1）推荐如果偏好或个人在统计分析和数据挖掘技术层面，可以考虑学习R语言
2）如果个人偏爱计算机技术，编程擅长，可以考虑学习Python，特别是如果你是工程上实现
3）当然你要学好：Excel、SPSS、Matlab、SAS等
4）特殊领域也要学，如果你tableau，Gephi、ucinet等可视化或网络分析
5）在一定程度上建模分析人员不用太关心hodoop、Splunk等，分布式计算、并行计算等交给R、Python算法去解决，除非你是IT工程师货系统架构师
6）学习路径可以看看我的博客，在google搜 沈浩老师的博客
7）大数据重相关不关心因果，是对的！不是不关心因果，因果本身不来自统计和数据，来自你的理论，而大数据是挖掘和发现知识，至于是否是因果您去努力解决和探索吧。当然如果大数据具有时间序列增长特征，更具有发现和验证因果的可能性，当然前提是又要符合实证研究框架，就可能产生矛盾。

沈老师，您好！
我觉得大数据也是分行业的，如果传统行业想应用大数据，还是需要一定的时间的，主要的行业还是互联网行业，电子商务这块。当然，新闻行业也开始应用大数据分析，来做报道了。
我想问一下，对于传统行业，该怎么样利用相关的大数据来为自己的企业谋取更多的利润呢？

tangaibing 发表于 2014-11-25 12:25
沈教授：你好！你如何看待中国的市场，是否是真正的市场经济，你如何看待电力等企业的垄断，如何实现市场公 ...

您的问题，聊天可以，太宏观了，还是问问俺技术问题吧！哈哈

兔兔舒蓝 发表于 2014-11-24 18:09
沈老师，您好！
我们总会建立模型来估计两个经济变量之间的关系，可是同一问题有多种分析工具供选择。例如 ...

咋说呢，如果你都不懂每一个方法，只好道听途说；如果你只会一个方法就是啥都用这个方法解决所有问题，只有会了每一个方法，才知道如何选择和权衡利弊。当然，今天很多工具都说智能和自动或半自动方法，如果不懂太细致的方法和参数，就采用每种方法或测试不同参数建模，学会评估模型的好坏。如果评估也不会，就看效果好坏啦！我的思路：就是把所有方法都测试一遍，这个具体数据集没玩好，经验值就有了！面板数据中经济学和时间序列预测都是特定数据集，在社会科学比较少，我的经验值不足！

爱.呼吸 发表于 2014-11-24 16:26
沈浩老师，您好！以前听过您的讲座受益匪浅，请问大数据处理怎样准确获取业务需求？

一般讲：商业理解是大数据挖掘的第一步，商业理解、数据理解、数据准备占整个业务的70-80%的比重，当然如果你在某个领域越深入越理解，合作和建立挖掘团队是必要的。因我在学校，不能满足上述条件，往往从数据出发，俺没时间整天讨论开会，会说先给我数据看看，从数据去理解商业可能是在明确要求下可行的，特别是在国外语言不通，文化没有的前提下。当然对于大数据挖掘人员要理解一般意义下的：流失模型、信用模型、欺诈模型、交叉销售、增量销售、KPI、RFM模型、市场细分、效果模型、满意度模型、选择模型等等各种模型的基本思想。

lzguo568 发表于 2014-11-24 15:45
沈老师你好，供水企业面临一个问题是入户难，检表难。表出户改造是一件耗资巨大的工程，但煤气表也在室内， ...

供水、供电企业可真是大数据土豪型企业，过去用在内部经营分析上，但主要个人理解是报表或计费上，并没有用于经营优化或大数据挖掘。美国根据每个家庭的状况可以个性化提供每个家庭能源报告，您就会看到与您一样的家庭、电器、生活习惯该如何降低用电，带来整个社会的节电。供水是同理，当然要解决数据采集问题，要明确一点：大数据不是为了挖掘采集的，而是商业自动化导致海量存储，现在理解了大数据的价值，在商业采集信息的过程应该收集更多数据，比如APP，传感器，一定要走自动化和用户自愿签到登陆才行，否则？现在插座都可以app遥控了

jiangbeilu 发表于 2014-11-25 14:48
沈老师，您好！
我觉得大数据也是分行业的，如果传统行业想应用大数据，还是需要一定的时间的，主要的行业 ...

现在谁是传统行业呢？大家都在互联网思维，大数据时代是工作、生活和思维方法的改变！尽管互联网等行业是大数据活跃的，但是大数据挖掘其实落地就是早年的数据挖掘技术，只是偏向文本挖掘、语义挖掘、网络分析、空间地理和可视化技术。过去银行、金融、保险、健康医疗、税收、电信、移动零售都是现在海量数据的传统行业啊！

136840612 发表于 2014-11-24 21:09
沈老师，您好，大家都在讨论大数据，但实际操作中知道如何去做的却非常少，而且在领先优势下的Google，Face ...

隐私是大数据所带来的一个重要的，也是心理感受的一个严重问题。当然隐私不是单单因为大数据才有的，所有大数据在定义隐私，保护隐私和暴露隐私都有作用。今天的社会，人在社会上就要与人交流，得到他人服务，这些都必须让度一些隐私，当然啥是隐私呢？有的人洗澡都希望别人看到，有人啥都不希望别人知道，所以因人而定。当然ZF和企业要制定最低准则保护，要有底线。但我先拥抱大数据、隐私问题针对具体问题具体分析！

大数据、云计算、物联网，这些新词一个接着一个，但对于一个非相关行业的人来讲，应该如何找到抓手？