招数据挖掘学徒

pengyizhen 发表于 2012-8-13 11:35
我也是非常同意你的看法的，我是应用数学的，所以IT方面比较欠缺的啊，可是现在市场需求是这样的，要求多面 ...

我个人觉得关键是思想，数据挖掘的思想与统计的思想是不同的，数据挖掘是先有数据，再有模型，最后出理论解释，是从数据到知识的过程。而统计的思想是给定理论模型，把数据往里套，然后出参数，这是从数据到信息的过程。
我个人认为，如果思想转不过来，做一辈子也不会有什么突破。

pengyizhen 发表于 2012-8-13 11:45
还请教个问题，你们是自己开发自己的挖掘系统嵌套到数据库中或是数据仓库中，还是买DM的软件来进行分析，基 ...

自己开发？你认为中国的IT人有这个思想高度吗？你给他们讲数据挖掘，他们给你一套统计系统，呵呵。
我要做数据挖掘的时候，公司的IT总监（级别好高啊，压死我了）说：把模型给我，我叫人开发，呵呵，我要是有现成的模型，还要做数据挖掘干什么啊？中国IT们根本不懂数据挖掘的实质是发现新知识，怎么可能写出数据挖掘软件？他们就是想着你把模型给他们，他们给你设计一套报表系统。
后来我就买了SPSS MODELER。
挖掘流程用CRISP-DM方法论，你可以自己搜一下。

pengyizhen 发表于 2012-8-13 11:48
能否发些资料给我，我的邮箱为或是我的qq为1936405479，感激涕零啊

理论的东西很多，你在网上都可以找到，但我不想误导你，因为真正有用的是现实的数据挖掘案例。
公司里很多东西是保密的，我本人无法给你，本周去参加IBM的2012年度BA大会，我会做一个演讲，PPT已经给了IBM。

嗯的，非常感谢您的，关于统计学与DM的关系，人们讨论的也是很多的，两者是互为补充与各有特点的。当然现在计算机技术的发展和应用，DM越来越成为趋势，统计学因为是有严格的理论体系，限制了统计学的发展，不过现在也是结合计算机的发展也肯定会朝着应用方向发展的

呵呵，我要混到您这个级别今生应该是没有希望的啊，能把公司的一个数据挖掘流程给下我参考下吗？还有你们建立数据仓库吗？是直接用clementine直接连到数据库中进行挖掘分析的吗？还是有什么准备的过程的？

pengyizhen 发表于 2012-8-13 13:58
呵呵，我要混到您这个级别今生应该是没有希望的啊，能把公司的一个数据挖掘流程给下我参考下吗？还有你们建 ...

1、我学习数据挖掘时间并不长，我以前不相信数据挖掘，我是中国ZF“入世后金融行业急需人才培养项目”法国访问学者，在法国导师那里见了案例，才相信，那是2005年的事，回国后跟IT总监等领导斗争了两年多，正式做数据挖掘才三年。我觉得走得快固然重要，但走的方向对才最重要。
2、我规划建立了“客户信息基础库”。
3、MODELER有自有数据库，我是把数据提取出来，转入宽表进行数据挖掘的。
4、CRISP-DM方法论，“准备工作”重于建模本身。商业理解、数据理解和数据准备，都可以说是准备工作，但商业理解占项目成功的重要性达到50%以上。

非常感谢您的指点的啊！

pengyizhen 发表于 2012-8-13 16:35
非常感谢您的指点的啊！

兴趣是最好的老师！

嗯的，古语有云："始于趣，终于毅",兴趣是开始，最后能否成功还是要靠个人的坚强的毅力的，呵呵，要使自己的DM水平提高还是有非常长的路要走的啊！

已经确定了一位很聪明的小伙，还剩一个名额。