发帖
雷达卡
在这一点上，我们都熟悉围绕模型透明度的对话。无论是出于对理解的常识渴望还是金融领域的监管驱动，这似乎都是一个相当直截了当的目标。
在监督模型构建的背景下，我们几乎所有人都生活在模型中的偏见被认为是数据集的结果，该数据集并不能真正代表整个人群。有时，我们可能会遇到模型所代表的决策过程存在缺陷的示例，但这种情况很少见。
我们最近写了使用模型的危险，这些模型对个人或群体的影响可能会改变生活。这不仅仅是决定谁获得促销或特价。这是关于谁获得保释或哪些医院获得多少口罩和呼吸器。
好消息是，我们大多数人可能永远不会需要构建或捍卫具有如此广泛影响的模型。坏消息是，我们在模型构建方面做得越好，数据科学越先进，“让机器决定”的愿望就越大。
我们在这个现代时代的成长仍然使我们认为机器不会犯错误。它们是为执行其功能而构建的，并且与人类不同，它们每次都会完美地执行该功能。复杂之处在于，我们陷入了这样一种信念，即人工智能只是另一台总是能给出正确答案的机器。
事实上，它应该总是给出相同（或一致）的答案。但是我们都会相信答案是“正确的”吗？尤其是当模型分配稀缺资源时。
规划道德 AGI
幸运的是，有人在考虑这个问题。这篇论文：Christopher Burr 和 Geoff Keeling 的“构建学习和思考道德的机器”是一个很好的起点。
这方面的背景是规划 AGI，即通用人工智能。这个世界仍然存在于那些试图让计算机像人类一样学习和思考的人，以及那些相信通过让计算机发现解释大多数行为的某些启发式规则更简单地可以获得相同结果的人之间。
AGI 已经有很多年了，但就像自动驾驶汽车一样，它最有可能从增强到完全自主分阶段实现。Burr 和 Keeling 正试图找出一些问题和方法来研究 AGI 中比较棘手的方面之一。也就是说，我们会同意我们的 AGI 实体提供的答案是好的吗？在这种情况下，善需要被理解为道德或伦理的定性。
这与现在相关的原因是，我们已经进入了一个需要模型来指导具有强烈道德或伦理意义的决策的时代。顺便说一句，“道德”和“伦理”都被定义为描述“正确的行为”，这立即暗示了一个主观成分。
为什么数据科学家应该关心
从数据科学的角度来看，引起我注意的方面是基于模型的学习与无模型的学习之间的区别。这些短语开始出现在我们的文学作品中，所以我们在这里使用这个主题来阐明一点。
这些术语源自强化学习，代表了两个相互竞争的实践流派。基于模型的 RL 系统首先要详细了解其环境，进而了解其局限性和能力。无模型 RL 系统只允许系统进行试错操作，直到找到解决方案。完全模型理解的限制被认为是不必要的。RL 最终会弄清楚的。
在人类学习领域，这两个术语也代表了关于人类如何学习的两个原始学派。这所基于模型的学校认为，人类婴儿配备了“启动软件”，该软件可以迅速（比今天的 RL 快得多）使他们能够将世界经验组织成成功的行为并在不同环境之间转移学习。
无模型学校说不需要模型。婴儿通过简单的启发式学习，并且受身体能力和限制的引导。就像，如果你只有两只手，那么不要试图找到需要三只手的解决方案。或者更简单地说，重力会下降。
对于普通的数据科学家来说，这似乎太抽象了，但这就是有趣的地方。人类学习的两个学派逐渐趋同于一种理解，即基于模型和无模型的两种类型一起行动，其中一种类型有时比另一种更占主导地位。
返回模型构建
如果你被要求建立或评估一个“高风险模型”，Burr 和 Keeling 说你应该牢记一些注意事项。
基于模型的系统一开始似乎更胜一筹，但不断适应不断变化的环境的要求将系统置于感知（获取有关环境的信息）、建模（构建丰富的重构表示）、规划（行动过程达到目标）和行动。SMPA 循环是计算密集型的，会产生时间成本或精度成本，需要与环境变化的速度进行平衡。
基于更简单启发式的无模型系统在不断变化的环境中训练速度更快，但可能无法很好地将学习迁移到狭窄领域之外。然而，一个没有模型的“道德主体不需要内化社会规范以确保他们的行为符合某些道德标准，并且可以潜在地使用简化的世界模型（甚至可能是一组良好的模型）”。调整启发式）当某些机构充当监管约束时。”
所需要的是一种在两种方法之间解释或协商的机制。这种机制尚未定义，但作者指出两个模型需要并行运行（大概在资源和时间允许的情况下）。这是数据科学家模型构建者面临的挑战。
回到偏见和透明度
在这些影响很大的情况下，更大的透明度问题是认识到每种方法的局限性，并准备使用示例说明为什么会达到模型的建议，以及为什么我们应该相信这是“正确的行动”。
作者总结了这两种方法之间当前的冲突状态。我们实际做出道德决定的方式往往更多地与启发式方法有关，而不是理想模型。例如，如果受影响的人离我们很近，而不是在世界的另一端，我们更有可能采取行动来修复或挑战不公平的行为。然而在现实中，道德/伦理决定应该要求在这两种情况下采取正确的行动。因此，设计一个主要依赖于无模型启发式的 AI 可能会导致它始终做出次优的道德决策。
此外，当情况新颖时，强调无模型启发式的系统不太可能达到可接受的解决方案。
然而，基于模型的“理想推理器”系统无法识别我们在道德决策中实际使用的不完善的启发式方法，这对许多人来说似乎是有偏见的。例如，在许多此类决策中很容易发现“组内/组外”偏见。一个普遍一致的解决方案可能看起来对“内群体”有偏见，尽管它实际上是在消除对“外群体”的偏见。
在评估道德决策时，我们严重依赖示例来解释做出决策的原因。因此，在很大程度上不言而喻，模型的风险越高，需要的透明度就越高。
我们在这里解决的未解决挑战是未来的数据科学家如何构建这些双重人格模型并平衡其结果，以便尽可能多的人同意结果是“正确的行动”。
相关帖子DA内容精选
|
京公网安备 11010802022788号
