请选择 进入手机版 | 继续访问电脑版
楼主: CDA网校
2110 0

[其他] 大数据的挑战:数据质量和历史偏见——CDA人工智能学院 [推广有奖]

  • 4关注
  • 96粉丝

管理员

大师

60%

还不是VIP/贵宾

-

威望
3
论坛币
26308 个
通用积分
2983.4549
学术水平
259 点
热心指数
267 点
信用等级
234 点
经验
193541 点
帖子
5031
精华
19
在线时间
3669 小时
注册时间
2019-9-13
最后登录
2024-3-28

初级热心勋章

CDA网校 学生认证  发表于 2020-11-11 12:26:38 |显示全部楼层 |坛友微信交流群
相似文件 换一批

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
CDA人工智能学院致力于以优质的人工智能在线教育资源助力学员的DT职业梦想!课程内容涵盖数据分析机器学习深度学习人工智能tensorFlowPyTorch、知识图谱等众多核心技术及行业案例,让每一个学员都可以在线灵活学习,快速掌握AI时代的前沿技术。PS:私信我即可获取CDA会员1个月免费试听机会

撇开炒作,利用大数据和分析法将会对企业未来业绩产生重大影响,重整整个行业并孕育新的产业。然而,还面临着很多挑战。它们从众所周知的缺乏数据科学人员来处理大数据,到更加棘手且很少提及的根源于人性的问题。

20180801063426_72147.png


   后者之一是人类聚积数据的倾向。另一个是人类仍然固守先入为主的倾向,即使数据结果明显不同。最近举办的麻省理工斯隆学院CIO研讨会就大数据和分析法发言的数据专家们取得了共识。发现地雷?希望落空?那些已经取得进展的企业已经知道,大数据和分析法没有最终真理。迭代就是全部,专家们也同意。
    不仅如此,除了迭代的价值, CIO们可以将最佳实践抛于脑后。正在兴起的未来实践才是深入研究大数据的公司最可以依靠的,在旧金山工作的计算机科学家Michael Chui说。他是麦肯锡全球研究院高级研究员,该研究院是位于纽约的麦肯锡咨询公司的研究机构。
    “我们知道这不可行:等到5年后完美的数据仓库出现。”Chui说,他是去年重大麦肯锡大数据价值报告的作者。
    相对地看待数据质量
    Chui说,事实上,沉迷于数据质量是很多公司需要克服的第一个障碍,如果他们希望有效的使用大数据。数据的精确性对银行财务报告是至关重要的。然而,不精确的数据包含了模式可以突出业务问题或者提供可以产生重要价值的洞察力,比如另一个研讨会专家小组的相关新闻报道的,“抓住大数据和分析法,否则将落伍,MIT专家小组称”
    专门小组成员Shvetank Shah说,相对那些快马加鞭以取得最佳质量数据的组织,那些“了解数据质量”的组织,即使使用元标签或颜色编码来标识数据质量-,对大数据的进展更快。他是华盛顿特区的咨询公司(CEB)的执行董事,一家位于。
    Shah提醒道,然而大数据结构的混乱性使得商业才智至关重要:重视经理了解何时值得去追求这些数据的能力。他说:“你雇佣经理的原因就是:去分析,去联系和迭代。”[page]
    在科学研究中,理解每一个变量的所有情况是不可能的,所以“迭代很重要”James Noga说。他是波士顿的医疗保健非营利性组织Partners HealthCare System的CIO. 他说,那些擅长大数据处理的人必须能够挑选出有代表性的关键点,并且“在当时作出最好的推测”.
    不管怎样这一点可以被推而广之,不仅是在关注数据质量的公司,而且那些习惯于结构化IT流程的IT公司中也可以推广。
    消除旧观念和成见不易
    专家组成员说,那些拥有模式识别技能、好奇心,并理解实验价值的人是有效使用大数据和分析法的关键。然而,CEB的Shah发现,使科学方法成为公司文化的一部分极其困难。“你可以让所有聪明的数据分析专家聚集在企业核心,做出很多聪明的决定。但是如果做不到这样的话,客服代表、经理们以及其它外围人员做出的决定就更加重要。”因为大多数公司没办法雇佣足够的数据科学人员去研究大数据,另一个挑战是寻找培训人才。
    CEB发现很少公司能够使用大数据和分析法法去驱动业务决策。最新对近500家企业的研究发现,20%的调查对象使用直觉做决定;49%想要更多数据,另有38%被CEB称为“知情的怀疑论者”,也就是那些可以进行模糊数据,并推动业务向前发展。不仅如此,Shah说,人们倾向于坚持成见,“技术数据显示的恰恰相反”.“消除成见非常困难。”
    聚积数据是另一个开发大数据的障碍。麦肯锡研究的一个发现是金融服务(其收集和分析数据的历史悠久)在使用大数据上滞后。Chui说:“我们发现很多西方银行的业务竖井的界限已经变得如此之大,以至于分享数据的想法非常,非常之弱。”

0D04CBB8996CB009643B8D6FD844F0C0.jpg

关注“CDA人工智能学院”,回复“录播”获取更多人工智能精选直播视频!


二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:人工智能 数据质量 CDA 大数据 HEALTHCARE

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2024-3-29 05:59