发帖
雷达卡
人工智能发展一大瓶颈：缺乏高质量数据集
用于机器学习用途的数据，其“不合理的有效性”引发了多年的广泛争论。也有观点认为，制约人工智能（AI）领域很多重大突破的，并非算法不够先进，而是缺乏高质量数据集。想要开发出最先进的机器学习技术，数据至关重要，这是贯穿那些讨论的共同主题。
对于在业务中将机器学习作为核心技术的初创公司来说，能否获得高质量的训练数据极为关键。虽然很多算法和软件工具都是开源和共享的，但好的数据集通常是专有的，且很难创建。因此，拥有针对特定领域的庞大数据集，能够成为竞争优势的一个重要来源，尤其是在初创公司能够快速引发数据网络效应的情况下（更多的用户→更多的数据→更智能的算法→更好的产品→更多的用户）。
所以，如何创建高质量数据集以用于训练学习算法，这是机器学习初创公司必须作出的一个重要的战略决定。不幸的是，在刚开始的时候，初创公司的标记数据常常十分有限，甚至缺失，为他们在数据驱动型产品的打造上取得重大进展增添了阻碍。因此，在聘请数据科学团队或者部署昂贵的核心设施之前，有必要从一开始就研究制定好数据采集的策略。
很多方法都可以帮助初创公司克服数据采集的冷启动问题。数据策略/来源的选择通常与商业模式的选择、公司的关注点（消费者或企业，水平或垂直，等等）以及融资的情况息息相关。以下是五种数据采集策略，虽然并不详尽，且多少互有重叠，但能让你对很多可用的方法有一个直观的感受。
策略一：人工作业
从零开始创建好的专有数据集，几乎永远意味着预先投入大量人力采集数据，执行难以规模化的人工任务。靠蛮力开路的初创公司有很多。例如，很多聊天机器人初创公司聘请人类担任“AI训练师”，让他们手动创建或核实虚拟助手作出的预测（实际效果各异，且员工流动率高）。就连科技巨头都采用这种策略：Facebook虚拟助手M的所有回答，都由一支合同工队伍进行检查和编辑。
只要数据网络效应在某个时候生效，所需人力不再跟随客户数量同步增加，那么用蛮力来手动标记数据点的策略就能取得成功。一旦AI系统的进步速度够快，不明确的异常值就会变得更少，进行手动标记的人员数量就可以减少或者保持不变。
适用于：几乎所有的机器学习初创公司
例子：
*很多聊天机器人初创公司（包括Magic、GoButler、x.ai和Clara）
*MetaMind（手动采集和标记的食物分类数据集）
*BuildingRadar（由员工/实习生手动标记建筑物图片）
策略二：缩小范围
大多数初创公司都会试图从用户那里直接采集数据，但问题在于，在机器学习的好处尚未全部体现出来之前，会很难说服早期采用者使用产品（因为先要有数据才能训练和改进算法）。避开这种两难处境的一个方法是大幅缩小问题域（如果以后有需要再扩大范围）。克里斯·迪克森（ChrisDixon）说：“你需要的数据量与你试图解决的问题广度有关。”
关于缩小范围的好处，聊天机器人再次成为很好的例子。这个领域的初创公司可以在两个市场进入策略之间做出选择：一种是打造水平型虚拟助手，也就是帮助解答很多问题并响应即时请求的机器人，例如Viv、Magic、Awesome、Maluuba和Jam；一种是打造垂直型虚拟助手，也就是力求极为出色地完成某项明确具体工作的机器人，例如x.ai、Clara、DigitalGenius、Kasisto、Meekan和近期的GoButler。虽然两个方法都可行，但解决闭域问题的初创公司在数据的采集上要容易许多。
适用于：垂直整合型公司
例子：
*高度专业化的垂直型聊天机器人（比如x.ai、Clara和GoButler）
*DeepGenomics（利用深度学习技术对基因变异进行分类和解读）
*QuantifiedSkin（利用客户自拍照进行皮肤分析）
策略三：众包
除了让合格的员工（或实习生）手动采集和标记数据外，初创公司也可以采用众包方式。AmazonMechanicalTurk和CrowdFlower等平台就是利用无数的在线劳动力来清除无效和不完整数据的。比如，VocalIQ就是通过AmazonMechanicalTurk平台，向自己的虚拟助手输入成千上万个用户提问。此外也可以将工作人员外包，雇佣其他的独立合同工（Clara和FacebookM就是这么做的）。采用众包策略的必要条件是，任务必须解释清楚，并且不能太过费时和枯燥。
另一个方法是激励民众自愿提供数据。比如，位于巴黎的人工智能初创公司Snips就是通过这种方法获得特定类型的数据的（餐馆、酒店和航空公司的确认邮件）。和其他初创公司一样，Snips使用了一种游戏化的系统，会将用户在积分榜上进行排名。
适用于：可以轻松实施质量控制的用例
例子：
*DeepMind、Maluuba、AlchemyAPI和其他很多公司
*VocalIQ（利用MechanicalTurk平台教导自己的虚拟助手人类的交谈方式）
*Snips（让人们免费提供数据以供研究）
策略四：副业
计算机视觉初创公司似乎特别喜欢的一种策略，就是提供一款面向消费者、针对特定领域的免费移动应用。Clarifai、HyperVerge和Madbits都采用了这种策略。他们推出照片应用，以便为他们的核心业务收集更多的图像数据。
这种策略并非完全没有风险（毕竟，应用的开发和推广也要花费时间和金钱）。初创公司还必须确保他们创造的用例充满吸引力，足以让用户甘愿交出他们的数据，哪怕这项服务在一开始缺乏数据网络效应。
适用于：企业创业/水平平台
例子：
*Clarifai（照片发现应用Forevery）
*HyperVerge（照片组织应用Silver）
*Madbits（照片拼贴应用Momentsia）
策略五：公开可用的数据集
很多初创公司都尝试过这种策略，虽然效果各异。具体做法就是从公开可用的来源挖掘数据。诸如CommonCrawl这样的网络档案包含了多年采集网络信息而得到的免费原始数据，容量高达几PB。另外，雅虎和Criteo等公司已经向研究团体发布了庞大的数据集（雅虎发布了13.5TB的未压缩数据）。随着近来公开可用的政府数据集（在奥巴马政府的带头下）大量增加，免费开放的数据源正在变得越来越多。
几家机器学习初创公司已经在利用这类公开数据。奥伦·埃齐奥尼（OrenEtzioni）初创Farecast时，使用的样本包含1.2万个价格观察值，这些是他从一家旅游网站的信息中搜刮出来的。同样，SwiftKey在起初的时候从网上收集了数TB的数据并加以分析，从而建立起自己的语言模型。
适用于：能够找到相关公开数据集的初创公司
例子：
*Farecast（第一版的数据来自于一家旅游网站）
*SwiftKey（从网上收集数据建立语言模型）
*Jetpac（利用公开的Instagram数据开发移动应用）
还有很多其他的数据采集策略没有在本文中提及。初创公司也可以利用几个算法技巧避开数据问题（比如MetaMind采用的迁移学习）。不管你使用哪种策略，关键在于获取和拥有针对特定领域的庞大数据集，用以打造高准确度的模型，这是创业者在开始时唯独最难解决的问题。
提升卡
置顶卡
沉默卡
变色卡
抢沙发
千斤顶
显身卡
京公网安备 11010802022788号
