电商里的数据玩家-经管之家官网！

淘宝目前拥有国内电子商务最大的交易数据量，总数据量已经超过30PB，并且还在以每月3PB的速度增加着，共有10亿多条产品信息和5亿多名用户的活动信息，每天超过8000万人次的独立访问。“淘宝拥有海量的数据，同时也必须面对数据分析带来的挑战。”赵昆说。

与他有同样想法的还有eBay中国研发中心分析平台与支付研发总监梁浒。梁浒所在的中国研发中心是eBay设在中国上海的技术支持中心，在这里，每天有上千人的团队为eBay全球提供技术支持，数据分析部门是其中最主要的团队。他认为，相比于B2C平台，淘宝和eBay这类C2C平台遇到的数据分析挑战更大，原因是“亚马逊和京东所有的商品数据都是自己的，可是在eBay，商品数据都在卖家那儿。”需要指出的是，两家公司的商品数据极为庞大，截至去年末，eBay的在线商品数目在3亿左右，淘宝的在线商品数则高达10亿，是国内拥有最庞大商品数的电商。

在淘宝所有数据里，有超过50%的数据属于非结构化/半结构化的数据，而在eBay，这一比例则高达95%以上。两家公司面临了相似的大数据处理问题，这迫使两家公司不得不关注它们对数据处理的能力。

不过，淘宝和eBay数据分析团队遇到的业务诉求不同，让它们二者分别走向了不同的关注点。在淘宝，日常运营的数据处理和计算是一部分，他们更致力于如何为用户提供产品化的数据服务。而eBay更关注在日常运营中，为内部各部门提供细致的数据分析支撑工具。

淘宝：迎合用户需求，将数据产品化

赵昆入职后遇到的第一个挑战，是来自宝洁中国的问询，“淘宝上人们对日化产品消耗和需求的数据是什么？”。

2009年，宝洁中国在淘宝开设了名为“e生活家”的旗舰店，销售剃须刀和洗发水、牙膏等套装日用品。宝洁考虑的并非销售额上的直接获益，而是认为淘宝能够提供一种创新的营销模式。对于一向热衷数据分析的宝洁，同样热切期望获得淘宝上的数据支持。随着品牌企业的逐步加入，有同样需求的企业卖家不在少数。

“既然这些需求很典型，为什么不做一个能够覆盖到这些用户需求的产品呢？”抱着这个想法，赵昆和他的团队开始将自己的工作定位于将数据产品化，以服务于需要数据的卖家等外部用户。

不过，他们马上就面临最棘手的数据处理和整合问题——淘宝此前缺乏数据体系：数据内容多样（日志型数据、文本型数据、关系型数据）、数据来源也很广泛（有商品维度、卖家维度、买家维度），并且这些数据分布在不同的数据库中。

在接下来的四五个月里，团队成员忙于数据处理问题。他们首先将原始数据进行规范化处理。同时，为了让分析工作更快速推进，他们将大多数非结构化的数据尽量转为结构化数据，比如将用户行为这一非结构化数据进行结构化数据处理。这些工作量非常庞大，在淘宝，数据的核心有三大维度：商品、交易和用户。此时淘宝内部开始确立明确的数据存储规则：网络平台上产生的所有数据都要被保留下来。这也意味着淘宝需要投入更大的技术力量，提高海量数据的存储和计算能力，并且需要不断提高系统的性能，压缩投入的成本。

不过，这仅仅是第一步，“我们要通过一种方式让用户能获取有价值的数据，让数据真正地帮助到用户的业务”赵昆说。为此，他们创造了一种树形方式对数据进行梳理。所有数据都基于这棵“树”进行组织，并且以“树”的方式展示给用户，这样用户获取数据的方式就像从一颗树的高处到末端根系，获得商品的从行业、类目、品牌、产品，到属性、店铺、商品等所有完整的、有关联的、有意义的信息。

这种方式打破了一般做法，通常在企业里，数据会分布于不同的数据库里，用户最终获取的是不完整的数据，数据分析完全由业务需求驱动，查询的成本很高。这种做法意味着，需要将分布在不同数据库中的数据组建关联起来，这样的关联降低了用户提取数据的成本，也让数据变得更加“聪明”。

“不过，淘宝需要动用很多系统资源，对数据做大量的预处理，尽可能降低数据的使用成本并且增大灵活性。”赵昆表示。

随后要开展研究数据产品的工作。因为淘宝对外开放数据，他们需要克服海量数据的安全问题，同时还要防止数据被恶意爬取等很多技术问题。到2010年3月28日，他们推出了淘宝第一个基于全量数据的数据产品——“数据魔方”，卖家可以查询行业宏观情况、品牌的市场状况、消费者行为等数据，涵括淘宝所有类目的交易、浏览和搜索数据。

卖家还可以根据自己的需求，选择使用“数据魔方”的专业版或者标准版的产品。专业版主要满足大卖家对行业数据的更细致分析的需求，同时也提供大卖家对自己店铺的交易和浏览的数据，现在宝洁已经在使用这款产品了解淘宝平台上用户购买日化消费产品的数据了。而标准版则主要为小卖家提供用户在自己店铺里交易和浏览的数据。“现在‘数据魔方’已经有大量的商家用户，其中有一半是活跃用户。”赵昆表示，用户的订购情况早已超过他们的预期。

继“数据魔方”之后，在今年的4月18日，赵昆和他的团队又推出他们的第二款产品 ——“淘宝指数”，这款产品进一步延展了淘宝生态圈的用户群，卖家、第三方研究机构、媒体机构都可以免费使用这款产品。与“数据魔方”相比，淘宝指数提供的数据相对单纯，主要是消费者在淘宝上的搜索商品和交易商品的数据。

不过，淘宝从来没有指望通过“数据魔方”赚钱，虽然它实际上是盈利的，但这从来也不是淘宝的目标。包括最近发布的“淘宝指数”，未来也不会有盈利的考虑。“我们只希望将淘宝数据平台的商业价值反馈出来，为淘宝生态圈的卖家、ISV（独立软件开发商）或者其他的电商服务。”赵昆说。

在淘宝这样一个巨量交易平台上，满足用户的数据请求和处理，是非常具有挑战性的工作。他们需要为用户呈现商品和店铺信息的实时变化情况，在技术上需要实现数据的实时和循环计算，同时还需要满足高并发的查询，以及在用户网络环境有限情况下数据请求的问题，这在传统数据平台是不太容易碰到的。

没有现成的技术支持，淘宝需要建立适合自己的算法，赵昆和他的团队一直在努力研发更好的技术。“对于数据来说，不是把它计算出来就好了，还包括怎样提供高效的查询，以及非常友好的展现，这些也是不能忽略的。”赵昆表示。

因为数据的多而复杂，淘宝一直在做数据挖掘，不过这是不得已而为之。“我们尽量提供一些方便的可视化产品，让用户自己去发现，而不是我们分析人员。”这或许也是淘宝致力于将数据产品化的原因之一。

eBay：以数据驱动运营，提升用户体验

“在eBay，如果不做数据分析和处理，我们就没法生存。”梁浒表示，和淘宝相对规范的售卖方式不同，eBay的业务以拍卖为主，并且还有“一口价”业务。相对复杂和多样的业务特点让eBay面临比淘宝更大的数据挑战，它的非结构化、半结构化的数据远比淘宝要高得多，这种数据高达95%以上，而淘宝这类数据在50%以上。

关注用户体验和数据分析是eBay从创立开始就有的基因。可以说，数据是eBay运行的血脉和经络。和淘宝一样，eBay同样保存了所有的数据，不过eBay对于商品的核心数据的定义是基于买家、卖家和商品这三个维度。

现在，eBay内部对于数据的利用已经深入骨髓，“以数据决定决策”已经是eBay内部上下的工作习惯。在eBay内部，各个业务部门的决策很大部分依据数据进行决策，包括他们彼此之间的协作，也都是数据分析平台自动按照每个人的职位、权限等进行系统的自动推送。这些工作的核心目标都是为了保证用户的体验。在eBay，用户的体验包括用户搜索的精确度、交易过程中有没有虚假的商品、买卖双方的满意度、网页的速度是否够快、操作体验好不好等等很多内容。在每一项内容里，eBay都会设定相关的指标，以达到用户满意度持续提升的目标。
在日常的运营中，eBay投入大量技术、资源在平台基础信息的过滤和清洗上，以保证用户的体验。eBay目前有3亿件商品，它会对卖家每天上传的文字、图片等500种因素进行分析，以保证商品描述一致性，那些重复上传的图片、或者不同卖家的相同图片不会在eBay上通过。而且对于卖家好评率将会被精确分析，以保证平台的信誉。同时，eBay会综合考虑卖家上传图片的清晰度、买家对卖家的打分、评论等所有信息。“那些各项指标表现良好的卖家将会在搜索中被呈现在前面。”eBay中国研发中心搜索科学产品研发总监逄伟表示。
除此之外，eBay也依据数据调整针对卖家的政策。比如三年前，eBay决定给相关卖家提供相关的优惠政策，对平台里的所有卖家进行各项指标的设定和评估，寻找其中符合参与该优惠活动标准的卖家。这里面涉及到对卖家过往历史信息的分析、以及给予 优惠活动后为平台带来的价值的评估预测，需要大量的数据支持。
最具有挑战的是“沉默的数据”。这是用户体验极为重要但容易被忽视的内容。
“很多用户不会表达他们对eBay的不满，但是数据会告诉我们。”逄伟说，比如有人通过Google搜索一个产品，到达eBay页面，却很快关掉页面这一系列行为，eBay会定义为“东西太差了”；当买家向卖家发出发货时间的各种疑问，而卖家却不做响应，这也属于“沉默的数据”。
逄伟认为，虽然这里面会存在大量的噪音数据，但是定义这些行为还是有其不可忽视的意义。“通过对各项细节指标的监测、以及对这些指标的不断改进，有助于从各个细节提升用户体验。”eBay每年都会制定转化率目标，这些目标会逐层分解到具体的每个流程中、需要提升的用户指标中等各项数据里。
为了保证良好的用户体验，eBay做重要改进时都要事先进行测试。eBay已经开始借助互联网的力量进行这一工作——通过第三方网站外包给互联网上的用户。他们会通过数据去分析支付给测试者多少费用更合理，以保证测试的可靠性和成本之间的平衡。随后，eBay会通过系统自动监测这些账号的行为，将这些行为与用户日常数据进行比对分析，从而生成自动化的分析结果。
在用户体验上，eBay对于各项内容每年都设定持续改进的目标，不过，eBay将“有多少用户向其他人推荐eBay”作为最核心的效果来考虑，这个数字现在大约在80%左右。
鉴于对海量数据处理能力，eBay能够提供很好的服务承诺，比如对于出现投诉的商品，它会先代替卖家赔付给买家，随后再对卖家进行追讨。如果遇到假货投诉，一旦确定，eBay将会对卖家的商品进行下架。这也意味着eBay需要前期投入更大精力保证平台的信誉。梁浒表示，这些做法也让eBay同时也承担更多的风险，有些款项可能永远也追不回来了。

「经管之家」APP：经管人学习、答疑、交友，就上经管之家！
免流量费下载资料----在经管之家app可以下载论坛上的所有资源，并且不额外收取下载高峰期的论坛币。
涵盖所有经管领域的优秀内容----覆盖经济、管理、金融投资、计量统计、数据分析、国贸、财会等专业的学习宝库，各类资料应有尽有。
来自五湖四海的经管达人----已经有上千万的经管人来到这里，你可以找到任何学科方向、有共同话题的朋友。
经管之家（原人大经济论坛），跨越高校的围墙，带你走进经管知识的新世界。
扫描下方二维码下载并注册APP