请选择 进入手机版 | 继续访问电脑版
352 1

[每天一个数据分析师] 数据科学中的陷阱:变量的数学运算合理吗——CDA人工智能学院 [分享]

  • 3关注
  • 51粉丝

管理员

学术权威

7%

还不是VIP/贵宾

-

威望
3
论坛币
153338 个
通用积分
431.0096
学术水平
113 点
热心指数
122 点
信用等级
103 点
经验
84747 点
帖子
1711
精华
11
在线时间
1752 小时
注册时间
2019-9-11
最后登录
2021-3-5

初级热心勋章

AIU人工智能学院 学生认证  发表于 2021-2-8 10:47:55 |显示全部楼层
CDA人工智能学院致力于以优质的人工智能在线教育资源助力学员的DT职业梦想!课程内容涵盖数据分析机器学习深度学习人工智能tensorFlowPyTorch、知识图谱等众多核心技术及行业案例,让每一个学员都可以在线灵活学习,快速掌握AI时代的前沿技术。PS:私信我即可获取CDA会员1个月免费试听机会

数据科学中有各种各样的模型,有的听起来很简单,比如线性回归;有点呢,听起来就很吓人,比如深度学习。但是不管什么样的模型,从本质上来讲,模型都是对训练数据做数学运算,并以此求得模型参数的估计值。
所以我们需要保证两点:

第一,训练数据能进行数学运算;

第二,对变量所做的数学运算是合理的。

对于第一点,通常只在一些特定的应用场景里才需要比较复杂的处理,比如自然语言处理、图像识别等。

但对于第二点,几乎所有的场景都会遇到。

这里将注重研究第二点“对变量所做的数学运算是合理的”,它表示的内涵是:对于变量,数字的运算有相应的实际意义,包括以下两个方面:

• 数字的大小关系。

• 数字的四则运算。

为了更好地讨论问题,将模型的自变量分类。正如前面章节所提到的,在模型里使用的变量可以分为两类:数值型变量和类别型变量。如图1所示。

图1

数值型变量,在学术上也被称为定量变量(quantitative variable),如长度、收入、重量等。它们的数值表示具体的测量或计数。事实上,定量变量按是否连续可进一步细分为连续型变量和离散型变量。在一定区间内可以任意取值的变量叫连续型变量,比如人的身高、体重等;反之则是离散型变量,比如公司员工人数等。对于这类变量,数字间的不等关系是有实际意义的。比如对于收入,在数学上,100小于1000;在实际生活中,100元也小于1000元。数字间的四则运算也同理,这里就不赘述了。当然由于数字的等于关系和四则运算,数值型变量常常隐含着边际效应恒定的假设,正如我们在第5章里讨论的那样。在某些场景下,这个隐含假设与现实不符,直接使用变量会影响模型的效果。

类别型变量,也被称为定性变量(categorical variable)。它并不是表示数量上的变化,而是表示类别。比如性别、省份、学历、产品等级等。这类变量的取值通常是用文字而非数字来表示。比如对于性别这个变量,可能的取值为男、女。因此要将文字变量转换为数字变量,并且保证对于转换之后的变量,数学运算是有意义的,这并不是一件容易的事情。通常针对一个类别型变量,我们会用一个数字去表示其中的一个类别,但这样的转换方法并不能满足要求:

对于有序的类别型变量,比如产品等级,0表示合格、1表示良好、2表示优秀。这种情况下,0小于1的确对应着合格等级次于良好等级,但数字间的四则运算就没有对应意义了。数学上2减1等于1,但对于产品等级,优秀减去良好还等于良好吗?

对于无序的类别型变量,比如对于省份,0表示北京、1表示上海、2表示深圳等。数字间的大小关系和四则运算都是没有实际意义的。

因此,在模型里直接使用类别型变量是没有任何道理的,也会严重影响模型的效果。由此可见,不管是数值型变量还是类别型变量,通常都需要根据问题场景做相应变换后,再放到模型中使用。

扫码关注CDA公众号,即可获取最新版数据分析题库大全CDA免费精品课70+


关键词:人工智能 数据科学 CDA Quantitative QUANTITATIV

已有 1 人评分经验 学术水平 热心指数 信用等级 收起 理由
nuomin + 100 + 5 + 5 + 5 精彩帖子

总评分: 经验 + 100  学术水平 + 5  热心指数 + 5  信用等级 + 5   查看全部评分


CDA人工智能学院http://edu.cda.cn)专注于数据科学与人工智能技术的在线教育平台。内容涵盖数据分析、机器学习、深度学习、人工智能、TensorFlow、PyTorch、知识图谱等众多核心技术及其行业案例,自由灵活的在线学习方式,让每一个学员快速掌握AI时代最前沿的技术!
stata SPSS
tianwk 发表于 2021-2-18 01:23:13 |显示全部楼层
thanks for sharing
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 我要注册

京ICP备16021002-2号 京B2-20170662号 京公网安备 11010802022788号 论坛法律顾问:王进律师 知识产权保护声明   免责及隐私声明

GMT+8, 2021-3-7 01:09