楼主: 爱萌
1736 4

[原创博文] 这是为我自己准备而摘录的 [推广有奖]

贵宾

学术权威

55%

还不是VIP/贵宾

-

威望
8
论坛币
96939 个
通用积分
12.2915
学术水平
231 点
热心指数
299 点
信用等级
157 点
经验
102615 点
帖子
6194
精华
1
在线时间
2021 小时
注册时间
2007-3-2
最后登录
2021-8-28

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
◆数据挖掘万能论:身边的永动机
我们身边有永动机么?没有,但是如果这样讲:“数据挖掘是万能的,它可以计算出你想要的任何东西,只要有数据。”——这句话就是永动机的理论。在数据挖掘的经典理论中,模式并非一定存在,模式不明显到与随机分布差不多的时候,就根本没有模式。翻译成电信语言就是:如果流失客户在系统中的数据与未流失客户的特征没有任何差别,那么流失是不可预测的。避免这类错误的方法只有一个:了解数据挖掘的经典理论和基本概念。(数据挖掘只是为了信息和模式等,如果遇到数据造假是无能的 )
◆命中率神话:揭开效果之谜
用分类技术(决策树、神经网络)作流失预测的时候,很多工程师会跟甲方承诺一个命中率。命中率的概念是工程师给出的流失客户的名单中下个月真正流失客户的占比。这个值好像越高越好,其实不然。这是因为数据挖掘软件作的预测实际上是一种概率的判决,必然存在错误的判断。精确的说法应该是在一定比例内的命中率。比如本地网有10万个客户,则3000人名单的准确率、5000人名单的准确率、1万人名单的准确率的说法才是科学的。企业需要实事求是,根据自己的业务需求确定一个综合考虑覆盖率的准确率期望。(假阳性与统计功效)
◆软件工具必须买:造中国自己的原子弹
有些企业经理认为,软件工具必须购买大公司开发的,其复杂、专业、有权威的示范性。但它是否适应企业或者适应研究的业务并不在经理们重点考虑的范围内。如果我们经常穿梭于专业的数据挖掘工作组,就会发现真正的高手是不使用商业数据挖掘软件的,即使使用,也用SASEM这样的可以写代码的软件。他们的工作方法是:探索数据、找合适的算法、简单编码实现、跑数据和写报告,因为应用的层次深化和效果提升才是最重要的。中国可以造自己的原子弹,运营商呢?(什么样的软件关键是人用)
◆工程师的水平标杆:智慧库与会说话的工具
企业招聘数据挖掘工程师时,应聘者众多,有人自称从事数据挖掘工作已20年,但事实上,国内人士研究数据挖掘才不过十年。很多人认为统计也是数据挖掘,那么,如何去衡量数据挖掘工程师的真实实力与水平呢?第一,看他理论基础。第二,看他掌握方法。没有足够的数学模型能力、统计分析能力、逻辑分析能力的工程师是不合格的。第三,看他创新能力。一句话,好的数据挖掘工程师是可以依靠的智慧库,不那么优秀的数据挖掘工程师只是会说话的工具。(数据挖掘工程师的质量决定)
◆模型不用更新:流水不腐,户枢不蠹
有人说,模型做好了就不用更新了。中国古谚“流水不腐,户枢不蠹”,用在数据挖掘上再合适不过。客户是流动的、业务是变化的、政策是滚动的、对手是狡猾的、经济是波动的,那么模型是固定的吗?不是,一系列的变化使得客户的行为模式发生变化,模型也要适时更新,否则商机若失,必成庸碌之辈。(因数据,因目的,因标准而变)
◆算法都一样:西装穿球鞋
有不少仅仅懂得数据挖掘技术皮毛的人会大手一挥:算法都是一样的,不就是聚个类、预个测吗?我们都知道穿西装是不可以穿球鞋的,因为不匹配,在数据挖掘实践中,算法是死板的,没有一种算法可以一统江湖,算法的适用性非常重要,对噪声点多而且多为奇异点的数据,最好不用K-means这样的算法,而要采用DBSCAN;反之遇到数据为球状簇分布而且呈哑铃状的粘连簇,K-means的表现要远好于DBSCAN。(各种算法个不同,如PCA 与FA)

◆数据挖掘就是软件:脑指挥手还是手指挥脑
有人可能说,数据挖掘不就是一个软件吗?管理科学一直是先进技术与理念的最佳试验场,从ERP、MRPII、OLAP、CRM(客户关系管理)到DM(数据挖掘),我们都会有这样一个经验,管理不是一个软件,系统更不仅仅是一个软件。上了CRM软件不见得就搞好了客户关系,数据挖掘软件一装,模型一跑,也并不是一个真正的数据挖掘系统。软件工具是手,而工程师是大脑,我们需要的是智慧的人脑指挥能干的手,而不是不动脑地动手或者手指挥脑。数据挖掘软件的战斗力体现在使用者的智慧上。(没有设计好就不要做,做了要评估,只有实验好了,才能推广)
◆会统计就会挖掘:老虎不会上树
有人说,统计很牛,挖掘就很牛。首先,我们承认统计学与数据挖掘存在较为密切的关系。但是两者并无特别联系,在数据挖掘的各个发展阶段,只有一个子方向的开拓可以算在统计学的功劳上,那就是贝叶斯网络。我们希望统计回归本位,既不托得太高,也不能看得太低:数据挖掘工程师都是具有统计分析能力的,统计分析是数据挖掘的基础能力和基本步骤之一。猫和老虎长得真像,可是老虎不会上树啊。(统计不是数据挖掘,数据挖掘一定需要统计)
◆业务重于挖掘结果:用人莫疑,疑人莫用
有这样的本地网,挖掘结果出来以后,与业务经验有些偏差,比如在模式的理解上有矛盾,业务人员认为结果不对,仍然按照业务经验修订结果。
俗语云:用人莫疑,疑人莫用。既然花了成本做了数据挖掘,就要尊重客观的挖掘结果,如果与业务经验矛盾,需要检查挖掘的各个步骤,找出问题在哪里;如果没有问题,那么就是过去的业务理解错了,敢于面对现实,纠正以往的偏差,不失为一种风度和智慧。(这是我控制不了的,但是要尽量说服,从实际出发)
◆数据挖掘没有用:淮南淮北,橘枳相异
有的本地网做完了数据挖掘项目,发现效果不好,于是得出结论:数据挖掘没有用。其实,橘生淮南则为橘,生淮北则为枳。一水之隔,本质区别,如同考试的时候59分与60分就差1分,但是两种结果。数据挖掘的成功需要很多条件,缺一不可:第一,良好的数据环境;第二,优秀的工程师;第三,适应目标数据集的软件工具;第四,分析目标数据集存在可被挖掘的非随机的模式信息。解决数据挖掘有效性问题的方法就是检查数据挖掘的各个步骤。(无能不能怨工具)
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:数据挖掘工程师 客户关系管理 数据挖掘技术 数据挖掘项目 means 数据 挖掘 工程师

最恨对我说谎或欺骗我的人
沙发
baoaibaobao 发表于 2011-2-13 21:56:00 |只看作者 |坛友微信交流群
恭喜恭喜!

使用道具

藤椅
chouxiangdaishu 发表于 2011-2-13 23:05:33 |只看作者 |坛友微信交流群
模型或算法,只是又臭又长的流程中的一小部分,别看得太重。

使用道具

板凳
hssnow 发表于 2011-2-13 23:12:16 |只看作者 |坛友微信交流群
图片看不到啊...
My Blog: http:/hssnow.name/
宁静致远

使用道具

看看
老夫聊发少年狂

使用道具

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-4-26 19:52