发帖
雷达卡
作者简介：Steven Hillion是Alpine Data Labs的联合创始人，负责领导面向企业发展的高级分析平台。在加入Alpine之前，他曾在Siebel、Greenplum等公司管理过数据科学家和工程师团队。
如今，数据比以前更加多元化，而且瞬息万变。想要有效地分析数据，离不开先进的软件和机器。但是，随着大数据分析的兴起，我们的直觉判断还有用吗？如果数据分析的结果与业务经理的第六感背道而驰，那她该怎么抉择呢？
我能说出这种话，也许有些让人吃惊——毕竟我本身是一位数据和科学研究者。但我坚信，只有让基于数据和商业知识的直觉引导数据分析工作，才能实现真正的价值。
有人认为，只要将足够多的数学分析和机器性能应用到数据库，就能得到最好的模型。但是，光凭鼓捣数据就想获得促进业务进展所需的答案，这样的人太傻了。因为，在数据科学中，直觉和数据分析是相辅相成，相互启发的。
首先，直觉引导分析。分析见解很少会凭空出现。它们是应用数值方法测试源自直觉和观察的假设和想法的结果。直觉还能引导研究人员测试这些假想的方法。哪些数据相关呢？哪些变量和转变是合理的呢？原因与结果之间的关系可能是什么呢？哪些模型合适呢？
同时，分析启发直觉。非监督式的建模技术能够识别数据中的关系和模式，而我们通过表面的观察或者小数据样本常常不易发现这些关系和模式。简单地说，就是分析能够带来表面观察无法得出的探索途径启示，甚至可能是反直觉的。
如果不让数据团队和业务团队的聪明领导者共同引导数据分析过程，根据工作经验和专业知识对直觉来进行平衡，问题就会产生。
经验主义
下面我就来举几个例子。
曾有个消费金融团队想让我们做一个客户流失模型，帮助银行预测哪些客户最有可能注销账户。但是，我们没得到有价值的东西。分析存款、贷款和信用卡数据，并没有明显导致客户销户的因素。在创建新账户后，消费者的支出和付费习惯基本上也没什么差别。
然而，银行家们没有放弃，他们更加仔细地研究了那些数据，审阅了团队制作的客户细分资料。有一位分析师凭她的直觉突然有了一个有价值的新发现。她意识到，有个特定的客户群显现出不同寻常的高价值贷款、长期客户价值和其它几个特别因素。他们很可能属于小企业老板。再查看那些个人账户，她的猜测果然没错。
她还猜测，那些开普通账户的企业老板可能还不知道，有比信用卡或者普通贷款账户更好的融资方式。于是，该团队将目标转向了这些高价值客户，向他们提供更合适的产品。进一步地，该团队获取到历史用户行为的数据，以便向其它的客户群推荐相应的产品，至此开始了向客户提供量身定做的产品的战略，从而提高了客户的终身价值。
由此可见，单靠数据就得到那种重要的洞见是不可能的。这种结合数据分析的商业洞见是无价的。
直觉在数据分析中至关重要，但奇怪的是，业务团队常常会被排除在数据分析过程之外。其实，商业分析员一开始就应当被邀请参与该过程。我已经改变了运作流程，让整个团队参与初期的模型评估，甚至更早的原始数据审查流程。这样做的效果很好。
数据
在另外一个案例中，我们的一位客户——大啤酒公司，想要预测其在日本市场的未来销量。我们建立了一个模型，来研究未来一年里，销量在不同的市场和定价压力下会有何反应。客户告诉我们，他们认为其啤酒销量直接受到经济影响，如果日本经济缓慢复苏，人们在软饮料上的消费就会增加。
他们要求我们在模型中以日经指数作为一种趋势变量。该指数在最初的确提高了模型的准确性——或者说表面上是如此。但在接下来的一年里，该模型的一些预测变得十分离谱。因为日本经济开始反弹，但日经指数却不在训练数据的范围内，原来的那个模型可能“过度拟合”了。
若是经验更丰富点的建模师，可能就不会引入那种变量。有时候第六感更为靠谱，但在该情况下，数据科学专家建议还是要谨慎点，并得认识到建模过程的限制和陷阱。我们转变了模型，来抑制股市指数的影响。后来，在指引制定新宣传计划和预测效果上，我们的模型发挥了很好的作用。
数据科学家和业务人员之间常会出现矛盾争吵——特别是当数据似乎与直觉大相径庭，新发展计划的效果似乎微不足道的时候。因此你常会看见营销人员质问“那个数据从何而来？”，数据科学家则毫不示弱地进行反击。
但我认为这种斗智是件好事。数学与科学应该要能受得住质疑。有时候，数据能够证明直觉是错误的。但也有时候，源于丰富经验的直觉会找出数据分析过程的缺陷。理想的话，大家都能受益。
Source: TC
京公网安备 11010802022788号
