机器之心分析师网络
分析师:仵冀颍
编辑: Joni Zhong
本文讨论的是机器学习中的公平公正问题(Bias and Fairness in Machine Learning),那么,究竟什么是机器学习中的公平公正呢?
随着人工智能系统和应用程序在我们日常生活中的广泛应用,人工智能已经成为了辅助人们决策的重要工具,例如,使用推荐系统算法做出电影推荐、购买产品推荐等,使用预测和分析系统用于贷款申请、约会和雇佣等高风险决策。美国法院使用了一款人工智能软件—「选择性制裁罪犯管理档案」(Correctional Offender Management Profiling for Alternative Sanctions,COMPAS),用于预测一个人再次犯罪的风险,辅助法官决定是释放罪犯,还是把罪犯关进监狱。对该软件的一项调查发现了对非洲裔美国人的一种偏见:相较于白人罪犯,COMPAS 更有可能给非洲裔美国人罪犯打出较高的潜在风险分数,从而不予以释放 [1]。
有偏的训练数据集一般被认为是影响机器学习公平公正的重要因素之一。大多数机器学习模型都是通过在大型有标记数据集上训练得到的。例如,在自然语言处理中,标准的算法是在包含数十亿单词的语料库上训练的。研究人员通常通过抓取网站 (如谷歌图像和谷歌新闻)、使用特定的查询术语,或通过聚合来自维基百科 (Wikipedia) 等来源的易于访问的信息来构建此类数据集。然后,由研究生或通过 Amazon Mechanical Turk 等众包平台对这些数据集进行注释和标记。
在医学领域,由于医疗数据的生成和标记成本非常高,机器学习特别容易受到有偏见训练数据集的影响。去年,研究人员利用深度学习从照片中识别皮肤癌。他们对 129,450 张图像的数据集进行训练,其中 60% 是从谷歌图像中提取的。在这个数据集中只有不到 5% 的图像是深肤色的个体,而且该算法没有在深肤色的人身上进行测试。因此,将该深度学习分类器应用在不同的种群中可能会存在巨大的差异。
用于图像分类的深度神经网络通常是在 ImageNet 上训练的,ImageNet 是一套包含 1400 多万张标记图像的集合。ImageNet 中 45% 以上的数据来自美国,而美国人口仅占世界人口的 4%。与此形成对比的是,尽管中国和印度的人口占世界人口的 36%,但两国在 ImageNet 的数据中只占 3%。在这样的数据集中训练得到的计算机视觉模型,把传统的美国新娘穿着白色衣服的照片标记为「新娘」、「服装」、「女人」、「婚礼」,而把印度北部新娘的照片标记为「行为艺术」和「服装」。图 1 是 Nature 上一篇报道中给出的一幅图片,在有偏数据集上训练的算法通常只将左侧的图片识别为新娘 [2]。
图 1. 在有偏数据集上训练的算法通常只将左手图像识别为新娘 [2] 影响机器学习公平公正的另外一个重要因素是机器学习算法本身。一个经典机器学习的算法总是试图最大限度地提高在训练数据集中的总体预测精度。如果一组特定的个体在训练数据集中出现的频率高于其他个体,那么算法将会针对这些个体进行优化,从而提高算法整体准确度。在实验环境下,研究人员使用测试数据集进行评估以验证算法的有效性,但是测试集通常是原始训练数据集的随机子样本,因此可能包含相同的偏见。
为了确保机器学习的公平公正,研究人员认为主要有三种途径:一是提高用于训练机器学习算法的数据质量,公平、广泛的收集不同来源的数据,使用标准化的元数据系统地标注训练数据集的内容。二是改进机器学习算法本身。整合约束条件,从本质上使得机器学习算法在不同的子群体和相似的个体之间实现公平的性能;改变学习算法,减少对敏感属性的依赖,比如种族、性别、收入——以及任何与这些属性相关的信息。三是使用机器学习本身来识别和量化算法和数据中的偏见,即开展人工智能审计,其中审计人员是一个系统地探测原始机器学习模型的算法,以识别模型和训练数据中的偏见。
本文重点谈论机器学习中算法的公平公正问题,我们选择了 ICML 2019 的三篇文章,分别针对机器学习领域中的图嵌入问题、回归问题,以及自然语言处理领域中的语言模型问题展开了讨论。
1、Compositional Fairness Constraints for Graph Embeddings
https://arxiv.org/pdf/1905.10674v1.pdf
本文是 Facebook 发表在 ICML 2019 中的一篇文章,针对现有的图嵌入(Graph Embedding)算法无法处理公平约束的问题,例如确保所学习的表示与某些属性 (如年龄或性别) 不相关,通过引入一个对抗框架来对图嵌入实施公平性约束。本文的研究内容属于 (社会) 图嵌入和算法公平性研究的交叉领域。
学习图中节点的低维嵌入是目前最先进的应用于预测和推荐系统的方法。在实际应用中,特别是涉及到社交图的应用中,需要有效控制学习到的节点嵌入中所包含的信息。以推荐系统为例,人们希望能够保证推荐是公平的而不依赖于用户的种族或性别,此外,也希望能够在不暴露自身属性的前提下学习节点嵌入表示以保证隐私。本文的工作聚焦于对社会图(Social Graph)加入不变性约束的可行性,即生成对特定敏感信息 (例如,年龄或性别) 不变的图嵌入。首先训练得到一组「过滤器」,以防止对抗式的甄别者将敏感信息与过滤后的嵌入信息进行分类。然后,将过滤器以不同的方式组合在一起,灵活生成对任何敏感属性子集不变的嵌入。方法的整体结构见图 2。
图 2. 方法整体结构 早期关于在社会类应用中增加强制不变性约束 (或「公平性」) 的工作通常只涉及一个敏感属性的情况,但是实际应用中通常社会图嵌入会涉及到多个属性。在极端情况下,可能希望不只是节点,甚至是图中的边(edge)也具备公平性,例如,一个社交网络平台上的用户可能希望该平台的推荐系统忽略他们与某个其他用户是朋友,或者他们参与了某个特定内容的事实。本文提出的方法通过学习得到一组对抗性过滤器,从而删除关于特定敏感属性的信息。
首先,考虑嵌入一个异质或多关系 (社会) 图 G = (V, e),G 包含有向边三元组 e= < u,r, v >,其中 u, v∈V 为节点,r∈R 表示节点间的关系。假定每个节点都属于一个特定的类别,节点间的关系受到节点类型的约束。基于图的关系预测任务描述如下:ξ_train 表示训练边集合,定义负边集合如下:
负边集合表示未在真实图 G 中出现的边的集合。给定ξ_train,目标是学习得到评分函数 s 以满足:
疫情之下,这是你也能上手的Python新冠病毒传播建模教程(附代码)
最大规模新冠临床研究:近9000个病例,男性风险更高,总体病死率3.06%,R0值3.77
破冰方案!焦虑有啥用?VIP会员2020,全网数据分析好课一应俱全!