发帖
雷达卡
假定数据是脏的
在处理数据的时候，会像污水处理厂一样，每一步都问自己要如何处理这些污水。这种情况的出现，到底是因为数据源脏了，还是因为数据提炼过程做得不好？
美国有一家初创公司，专注于与地理位置相关的数据收集、整理和查询服务。它将地理位置的相关指标，按照酒店和旅馆等属性划分为不同细类，对外提供基于位置信息的实时查询，为包括美国最大点评网 Yelp在内的多个知名应用提供底层数据服务。
这家公司最令人印象深刻的是，它对于所收集来的数据会提供一个数据质量评分，以反映数据的可信度和质量水平。它会对这些数据的源头以及对处理数据阶段所用的算法进行评分。也就是说，这家公司在提炼数据的每一个阶段都进行了数据化管理。
这家公司的做法让我们看到了一个趋势，也是一个非常重要的趋势。因为它首先已经接受了数据源肯定是脏的和数据源一定会被污染的事实。所以，它在处理数据的时候，会像污水处理厂一样，每一步都问自己要如何处理这些污水。这种情况的出现，到底是因为数据源脏了，还是因为数据提炼过程做得不好？这个过程我们一定要区分，而且这样的区分是可取的。这家公司是假定数据是“脏”的来做数据管理，而不是假定数据是稳定的。而且，假定数据是“脏”的来处理数据，在大数据时代将是一个非常重要的趋势。
事实上，我们今天在处理的大数据，依然只是冰山一角，而更大的数据都隐藏在我们的语言中，比如我们说的话和写的字。所以，将来我们要准确地从互动中抓取数据，也一定要依赖对自然语言的处理。现在，美国的很多数据研究人员都在瞄准非结构性数据，即语言处理这一领域。
学会慢慢淡化数据
数据是有优先值的，在数据中有些是特别核心的，有些即使缺失了也没有多大问题。所以，我们要学会真正坐下来盘点那些对公司最有价值、对用户最有价值的数据。
想要确定数据的优先值，就要先解决以下几个问题。一是数据的标准化。在大数据时代，我们需要一个标准化的东西供我们进行交流。二是我们到底如何对接和交换数据，如何在交换的时候保持数据的稳定性。比如自然语言，比如在无线和 PC不同场景下受到的影响，这些情况都会滋生出许多新问题。
第三个重要的问题是数据的存储，这将涉及数据的时效性这一问题。有人曾经提出过一个很有价值的观点，即现实中，网站最大的场景变化就是网站改版。因为重新设计网站，本身就影响数据，比如公司的详情页和首页，任何改变都在影响数据。如果在 1~3年后，你才说得出数据的这一改变是由于促销、用户行为或是改版引起的，那这一数据就已经没有任何价值了，这就是数据的时效性。
所以，美国出现了一个概念叫数据淡化（ Data Decay），意思很明显，数据会慢慢淡化。我们要更清楚地认识到，数据是有优先值的，在数据中有些是特别核心的，有些即使缺失了也没有多大问题。所以我们要学会真正坐下来盘点那些对公司最有价值、对用户最有价值的数据，这是一个非常重要的趋势。
相关帖子DA内容精选
|
京公网安备 11010802022788号
