科教兴国-人工神经网络与机器学习斩获诺贝尔物理学奖！

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

2024年诺贝尔物理学奖授予美加2位科学家

瑞典皇家科学院（The Royal Swedish Academy of Sciences）决定将2024年诺贝尔物理学奖(The Nobel Prize in Physics 2024)授予美国新泽西州普林斯顿大学（Princeton University, NJ, USA）的约翰·霍普菲尔德（John J. Hopfield）和加拿大多伦多大学（University of Toronto, Canada）的杰弗里·辛顿（Geoffrey E. Hinton），获奖理由是基于人工神经网络的机器学习的基础性发现和发明。他们利用物理学的工具开发了一些方法，这些方法是当今强大的机器学习的基础，他们利用物理学训练人工神经网络。

今年的两位诺贝尔物理学奖得主使用物理学的工具开发了今天强大的机器学习的基础方法。约翰·霍普菲尔德创造了一种联想记忆，可以存储和重建图像和其他类型的数据模式。杰弗里·辛顿发明了一种方法，可以自动发现数据中的属性，从而执行识别图片中的特定元素等任务。

当我们谈论人工智能时，我们通常指的是使用人工神经网络的机器学习。这项技术最初是受到大脑结构的启发。在人工神经网络中，大脑的神经元由具有不同值的节点表示。这些节点通过连接相互影响，这些连接可以被比作突触，可以增强或减弱。例如，通过在同时具有高值的节点之间建立更强的连接来训练网络。今年的获奖者从20世纪80年代开始就在人工神经网络方面进行了重要的工作。

约翰·霍普菲尔德发明了一种网络，它使用一种方法来保存和重建模式。我们可以把节点想象成像素。约翰·霍普菲尔德网络利用物理学来描述材料的特性，因为它的原子自旋是一种使每个原子成为微小磁铁的特性。整个网络的描述方式相当于物理中发现的自旋系统中的能量，并通过寻找节点之间的连接值来训练，以便保存的图像具有低能量。当约翰·霍普菲尔德网络得到一张扭曲或不完整的图像时，它会有条不紊地通过节点并更新它们的值，这样网络的能量就会下降。因此，网络逐步找到最像它输入的不完美图像的保存图像。

杰弗里·辛顿使用约翰·霍普菲尔德网络作为一个新网络的基础，新网络使用了一种不同的方法:玻尔兹曼机器（Boltzmann machine）。这可以学习识别给定类型数据中的特征元素。杰弗里·辛顿使用了统计物理学的工具，这是一门由许多相似组件组成的系统科学。通过给机器输入在机器运行时很可能出现的例子来训练机器。玻尔兹曼机器可以用来对图像进行分类，或者为它所训练的模式类型创建新的例子。杰弗里·辛顿在这项工作的基础上，帮助启动了当前机器学习的爆炸性发展。

“诺贝尔奖获得者的工作已经带来了最大的好处。在物理学中，我们在广泛的领域使用人工神经网络，例如开发具有特定性能的新材料，”诺贝尔物理学委员会主席Ellen Moons说。

Illustration: ©Johan Jarnestad/The Royal Swedish Academy of Sciences.

约翰·霍普菲尔德（John J. Hopfield, 1933-），1933年生于美国伊利诺伊州芝加哥市(Chicago, IL, USA)。1958年获得美国纽约州伊萨卡市康奈尔大学(Cornell University)博士学位。现任美国新泽西州普林斯顿大学（Princeton University, NJ, USA）教授。更多信息敬请浏览相关网页：John J. Hopfield, Princeton University

杰弗里·辛顿（Geoffrey E. Hinton, 1947-），1947年生于英国伦敦(London, UK)。1978年获英国爱丁堡大学(University of Edinburgh, UK)博士学位。现任加拿大多伦多大学（University of Toronto, Canada）教授。更多信息敬请浏览Geoffrey E. Hinton, University of Toronto

https://blog.sciencenet.cn/blog-212210-1454339.html

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：人工神经网络 人工神经 神经网络 物理学奖 机器学习

  北京时间10月7日下午5点30分许，2024年诺贝尔生理学或医学奖揭晓。美国科学家Victor Ambros和Gary Ruvkun获奖，以表彰他们“发现microRNA及其在转录后基因调控中的作用”。

2024年的诺贝尔奖单项奖金为1100万瑞典克朗，与2023年持平，合人民币744.117万元。

今年的诺贝尔奖授予了两位科学家，以表彰他们发现了调控基因活动的基本原理。

储存在我们染色体中的信息就像是我们体内所有细胞的说明书。每个细胞都包含相同的染色体，所以每个细胞都包含完全相同的一组基因和完全相同的一组指令。然而，不同的细胞类型，如肌肉细胞和神经细胞，有非常不同的特征。这些差异是如何产生的？答案在于基因调控，它允许每个细胞只选择相关的指令。这确保了在每种细胞类型中只有正确的一组基因是活跃的。

Victor Ambros和Gary Ruvkun对不同类型的细胞是如何发育的很感兴趣。他们发现了microRNA，这是一类新的微小RNA分子，在基因调控中起着至关重要的作用。他们的突破性发现揭示了一种全新的基因调控原理，这种原理对包括人类在内的多细胞生物至关重要。现在已经知道，人类基因组编码超过1000个microRNAs。他们的惊人发现揭示了基因调控的一个全新维度。事实证明，microRNA对生物体的发育和功能至关重要。

必要的调控

今年诺贝尔生理学或医学奖的重点是发现细胞中用于控制基因活动的重要调节机制。遗传信息通过一个叫做转录的过程从DNA流向信使RNA （mRNA），然后进入细胞机器生产蛋白质。在那里，mRNA被翻译，蛋白质根据储存在DNA中的遗传指令被制造出来。自20世纪中期以来，一些最基本的科学发现已经解释了这些过程是如何运作的。

我们的器官和组织由许多不同类型的细胞组成，它们的DNA中都储存着相同的遗传信息。然而，这些不同的细胞表达独特的蛋白质。这是如何做到的？答案在于基因活动的精确调控，以便在每种特定的细胞类型中只有正确的一组基因是活跃的。例如，这使得肌肉细胞、肠细胞和不同类型的神经细胞能够执行它们的特殊功能。此外，基因活动必须不断微调，以使细胞功能适应我们身体和环境的变化。如果基因调控出错，可能会导致癌症、糖尿病或自身免疫等严重疾病。因此，了解基因活性的调控是数十年来的一个重要目标。
遗传信息从DNA流动到mRNA再到蛋白质。人体内所有细胞的DNA中都储存着相同的遗传信息。这需要对基因活动进行精确的调控，以便在每种特定的细胞类型中只有正确的一组基因是活跃的。图片来源：诺贝尔生理学或医学奖委员会。


20世纪60年代，研究表明，被称为转录因子的特殊蛋白质可以结合到DNA的特定区域，并通过决定产生哪些mRNA来控制遗传信息的流动。从那时起，成千上万的转录因子被鉴定出来，在很长一段时间里，人们认为基因调控的主要原理已经解决了。然而，在1993年，今年的诺贝尔奖获得者发表了意想不到的发现，描述了基因调控的一个新水平，结果证明其在整个进化过程中是非常重要和保守的。

2024诺贝尔物理学奖 | “AI教父”辛顿，开始害怕人工智能

导读

2024年诺贝尔物理学奖授予约翰·J·霍普菲尔德（John J. Hopfield）和杰弗里·E·辛顿（Geoffrey E. Hinton），以表彰他们“为实现使用人工神经网络的机器学习所做的基础性发现与发明”。这两位科学家利用物理学工具开发了奠定当今强大机器学习基础的方法：霍普菲尔德创建了一种联想记忆，可以存储并重建图像及其他类型的数据模式；辛顿则发明了一种能够自主发现数据中特性的方法，从而执行如识别图像中特定元素等任务。

作为今年的诺奖得主之一，被称为AI教父的辛顿于2023年5月从谷歌离职，并开始表示出对人工智能技术风险的担忧。本文为《纽约客》在辛顿离开谷歌后的特写报道，深度阐述了其研究生涯中对AI技术发展的所思所想。

化茧

在你的大脑中，神经元以大小不一的网络排列着。你的每一个动作、每一个想法都会改变这些网络：神经元或被纳入、或被排除，它们之间的连接或被加强、或被削弱。这个过程无时无刻不在进行——在你阅读这些文字的时候，它就在发生变化，其规模之大超乎想象。你的脑中有大约800亿个神经元，共享1万亿甚至更多的连接。你的头骨中就像蕴藏着一个星系，而这个星系变幻莫测。

常被称为“人工智能教父”的计算机科学家杰弗里·辛顿（Geoffrey Hinton）递给我一根手杖。他说：“你在这里需要它。”然后，他沿着一条穿过树林的小路向湖岸边走去。小路蜿蜒地穿过一片绿树成荫的空地，经过成对的棚屋，然后沿着石阶下到一个小码头。辛顿边往下走边警告：“这里十分滑。”

新知识会以微妙的姿态融入你现有的神经网络。有时它们是转瞬即逝的：例如你在聚会上遇到一个陌生人，他的名字可能只会在你的记忆网络中留下短暂的印象。但有时它们可能持续一生——要是这个陌生人成为了你的配偶。由于新知识与旧知识相互交融，你所知的会影响你所学的。如果派对上有人跟你谈论了他的阿姆斯特丹之旅，那么第二天，当你逛博物馆时，你的神经网络可能会把你往维米尔（Vermeer，17世纪荷兰画家）那儿推一推。类似地，微小的变化往往会引起巨大的转变。

辛顿说：“我们曾在这儿举办过篝火晚会。”我们在凸向安大略省乔治亚湾（Ontario’s Georgian Bay）的一块岩石上，乔治亚湾一直向西延伸到休伦湖（Lake Huron）。水面上岛屿星罗棋布。2013年，65岁的辛顿把一家由三人初创的公司以4400万美元的价格卖给谷歌，然后买下了这座岛屿。在此之前，他在多伦多大学担任了30年的计算机科学教授，在当时这个叫神经网络的乏味子领域中充当领头羊。这个领域的灵感来自大脑中神经元的连接方式。由于人工神经网络只在完成图像分类、语音识别等任务时取得相对的成功，大多数研究人员认为它们往好了说只是略微有趣，往坏了说是在浪费时间。辛顿回忆道：“我们的神经网络甚至无法与一个孩子比肩。”20世纪80年代，当他观看电影《终结者》时，他并没有为电影中毁灭世界的人工智能 “天网”是一个神经网络感到困扰，相反，他很欣慰地看到这项技术被描绘得大有可为。

石头上因高温而产生裂缝，从生火的小凹陷处向外迸射，辛顿用棍子戳了戳生火的地方。他身材瘦高，有一副英伦面孔，作为一名彻头彻尾的科学家，他总在评论物质世界中发生的事情：动物的生活、海湾中的水流、岛屿的地质。“我在木头下面放了一个钢筋网，这样空气就能进来，温度高到连金属都能变软。”他用一种奇怪的语气说，“这才是真正的火，值得引以为傲！”


几十年来，辛顿不断尝试以巧妙的方式构建更大的神经网络。他想出新的方法来训练它们，帮助它们不断进步。他招募研究生，让他们相信神经网络并不是一个失败的事业。他认为自己在参与一个可能在一个世纪后、在他死后才会取得成果的项目。与此同时，他发现自己却变成了鳏夫，独自抚养两个年幼的孩子。在一个特别困难的时期，家庭生活和研究压得他喘不过气来，他认为自己已经拼尽全力。他说：“我早在46岁时就对神经网络死心了。”他没有预料到，神经网络技术会在约十年前突飞猛进。计算机的速度越来越快，神经网络利用互联网上的数据开始转录语音、玩游戏、翻译语言甚至驾驶汽车。大约在辛顿的公司被收购时，人工智能开始蓬勃发展，OpenAI的ChatGPT 、谷歌的Bard等系统应运而生，很多人相信它们正以不可预知的方式改变着这个世界。

辛顿沿着海岸出发了，我紧随其后，碎裂的岩石在我脚下晃动。“看呀！”他站在一块与人一般大的磐石前说，这块巨石挡住了我们的去路。“你可以先这样，先把棍子扔过去，”他把自己的棍子扔到巨石的另一边，“然后这里和这里都有支点，这儿还有一块能抓住的。”我看着他轻车熟路地爬过去，自己也试探性地迈出了相同的步伐。

每当我们学习时，我们的神经网络都会产生变化，但究竟是如何变化呢？许多像辛顿这样与计算机打交道的研究人员，在试图探索神经网络的 “学习算法”——一种通过改变人工神经元之间连接的统计“权重”来汲取新知识的程序。1949年，心理学家唐纳德·赫布（Donald Hebb）就人们如何学习提出了一个简单的规则，通常被概括为神经元“共激活者共连接（fire together wire together）”。大脑中的一组神经元一旦同步激活，就更有可能再次同步激活。这有助于解释为什么我们在第二次做某事时会更易上手。但很快人们发觉，计算机化的神经网络需要用另一种方法来解决复杂的问题。20世纪60、70年代，辛顿还是一名年轻的研究人员，他在笔记本上绘制了神经元网络，并想象着新知识如何到达它们的边界。由几百个人工神经元组成的网络如何存储一个概念？如果这个概念存在缺陷，这些网络又该如何修正？

我们沿着海岸绕了一圈，来到辛顿的小屋，这是岛上唯一的一间小屋。它由封闭式玻璃建成，高高矗立在宽阔黝黑的岩石阶梯之上。“有一次我们来到这里，一条巨大的水蛇把头探了过来。那是一段美好的回忆。”辛顿在我们靠近屋子时说。他的父亲是一位著名的昆虫学家，曾命名了一种鲜为人知的蜕变阶段（metamorphosis）。正是他的父亲给他灌输了对冷血动物的独爱。小时候，他和父亲在车库里养了很多毒蛇、乌龟、青蛙、蟾蜍和蜥蜴。如今，当辛顿在岛上时（他经常在温暖的月份去岛上），常常会寻找蛇并把它们带到家里，这样他就可以在饲养箱里观察它们。他一生都在思考如何自下而上地思考问题，因此很善于观察非人类的心智。

今年早些时，辛顿离开了谷歌（自从辛顿的公司被收购后，他一直在谷歌工作）。他担心人工智能可能造成危害，并开始在接受采访时谈论这项技术可能对人类构成的“生存威胁”。他越是使用ChatGPT（一个由大量人类写作语料库训练出来的人工智能系统）就越是惴惴不安。

有一天，福克斯新闻的人给他写信，希望就人工智能问题进行采访。辛顿偏爱用电子邮件发送尖刻的单句回复，比如，在收到一份来自加拿大情报机构的长报告后，他回复：“斯诺登是我的英雄（Snowden is my hero）。”所以他尝试写点俏皮话，最后，他写道：“福克斯新闻是个敏捷的白痴（Fox News is an oxy moron）*。”然后，他灵机一动，问ChatGPT能否解释他的笑话。系统告诉他，他的句子暗示福克斯新闻是假新闻，当他让ChatGPT留意“白痴”（moron）前的空格时，系统解释说福克斯新闻会让人上瘾，就像药物奥施康定（OxyContin）一样。辛顿大吃一惊。这种理解水平似乎代表了人工智能的一个新时代。

*译者注

oxymoron在英语中是“矛盾修饰法”之意，但它是个来自希腊语的组合词，此处辛顿故意用空格将该词拆开，使用希腊语本意：oxy即为希腊语oxys，意为锐利的、敏捷的、酸的；moron意为白痴。ChatGPT表现得似乎“理解”了辛顿的俏皮话，因为它也使用了oxy这个梗：OxyContin中的“oxy”来自其成分oxycodone，oxycodone的词源也是oxys（取“酸”之意）。

我们有许多理由畏惧人工智能的来临。比如，担心人类员工被电脑取代是人之常情。但是，辛顿与包括OpenAI首席执行官萨姆·奥特曼（Sam Altman）在内的许多著名技术专家一起，发出了警告，称人工智能系统可能会开始自我思考、甚至试图取代或消灭人类文明。人工智能最杰出的研究人员之一，发表了如此引人心忧如焚的观点，属实令人震惊。

他站在自家厨房里（他一生中大部分时间都在受背痛折磨，最终疼痛变得非常严重，以至于他放弃了坐着。自 2005 年以来，他从未坐过超一小时。）对我说：“人们说，人工智能只是美化了的‘自动完成’功能（autocomplete）。让我们来分析一下，假设你想成为预测下一个单词的高手，如果你想成为真正的高手，就必须理解别人在说什么，别无他法。因此，训练让某物真正擅长预测下一个单词，实际上就是在强迫它去理解。是的，这的确是‘自动完成’，但你并没有想清楚，拥有一个真正好的‘自动完成’意味着什么。”辛顿认为，“大型语言模型”，例如为OpenAI聊天机器人提供支持的GPT，可以理解单词和想法的含义。

那些认为我们高估了人工智能的怀疑论者指出，人类思维与神经网络之间仍存在着鸿沟。首先，神经网络的学习方式与我们不同：我们通过积累经验，掌握经验与现实、与自身的关系，有机地获取知识；而神经网络则是抽象地学习，他们处理的是关于这个世界的巨大信息库，一个他们并不真正居住其间的世界。但辛顿认为，人工智能系统所展示的智能超越了其人工源头。

“当你吃东西时，你把食物吃进去，然后分解成更微小的成分，”他告诉我，“所以你大可以说，我身体里的部分是由其他动物的部分组成的。但这是在误导他人。”他认为，通过分析人类的写作，像GPT这样的大型语言模型是能够了解世界是如何运作的，从而产生一个能够思考的系统，写作只是这个系统所能做的一小部分而已。他接着说：“这就好比毛毛虫蜕变成蝴蝶。在蛹里，你把毛毛虫变成浓汤，再从汤里把蝴蝶造出来。”

他开始在厨房边的一个小柜子里捣鼓起来。“啊哈！”他兴高采烈地把一个东西放在柜台上——一只死蜻蜓。它被保存得非常完好。他解释：“这是我在码头发现的。它刚在石头上孵化出来，正在晾干翅膀，所以我把它捉住了。看它下面。”辛顿捕捉到的这只蜻蜓刚从幼虫形态中蜕变出来。这只幼虫长相迥异，有自己的眼睛和腿。它的背部有一个洞，蜻蜓就是从这个洞里钻出来的。

“蜻蜓的幼虫是生活在水里的怪物，”辛顿说，“就像电影《异形》中一样，蜻蜓从怪物的背部破壳而出。幼虫在一个阶段变成了汤，然后蜻蜓从汤中诞生了。”在他的比喻中，幼虫代表了用于训练现代神经网络的数据，蜻蜓则代表了由此产生的敏捷人工智能。深度学习（辛顿帮助开创的技术）导致了这种蜕变。我弯下腰，想看得更清楚一些。辛顿站得笔直，他几乎总是这样，小心翼翼地保持着姿势。“多漂亮呀，”他轻声说，“你现在明白了吧。它一开始是一类东西，现在变成了另一类东西。”

在剑桥大学，辛顿尝试过不同的专业，但他沮丧地发现自己从来都不是班上最聪明的学生。他曾短暂离开大学去“阅读令人沮丧的小说”，并在伦敦打零工，后来又回来尝试建筑学，然而只做了一天。最后，他涉猎了物理、化学、生理学和哲学，尝试专注于一样东西，于是选择了实验心理学学位。他常在道德哲学家伯纳德·威廉姆斯（Bernard Williams）的办公室里 “出没”，发现他对计算机和心灵很感兴趣。有一天，威廉姆斯指出，我们不同的思想一定反映了我们大脑中不同的物理排列，这与计算机中的情况完全不同，在计算机中，软件独立于硬件。辛顿被这一观察所震撼。

他记得在高中时，一位朋友曾告诉他，记忆可能是以“全息”的方式存储在大脑中的。也就是说，尽管记忆是分散的，却可以通过任何一个局部访问整体。他所遇到的是“连接主义（connectionism）”——一种结合神经科学、数学、哲学和编程的方法，旨在探索神经元如何协同合作来完成“思考”。连接主义的目标之一，是在计算机中创建一个类似大脑的系统。这在当时已经取得了些许进展：1950年代，心理学家、连接主义先驱弗兰克·罗森布拉特（Frank Rosenblatt）制造了一台机器，名为“感知机”（Perceptron），它用简单的计算机硬件模拟了一个由数百个神经元组成的网络。当连接到光学传感器时，该设备可以追踪不同模式的光线激活了哪些人工神经元，从而识别字母和形状。


根据谷歌学术的数据，辛顿现在是心理学家中被引用次数第二多的研究者，也是计算机和认知科学家中被引用次数最多的人。如果说他在剑桥大学的起步是缓慢而异乎寻常的，那要归咎于他当时正在研究一个新兴领域。他合上笔记本电脑说道：“当时在好大学里做神经网络的人很少。你在麻省理工学院做不了，在伯克利做不了，斯坦福也不行。”辛顿成为了一个新生网络的枢纽，也有好处。多年来，许多顶尖的人才都来找他。

玻尔兹曼机

“今天天气真好，”第二天早上，辛顿说，“我们应该去砍一棵树。” 他穿着一件塞进卡其裤里的正装衬衫，看起来并不太像伐木工人。不过，他还是搓了搓手。在岛上，他总是在砍树，来为岛屿创造更有序、更美丽的风貌。

这栋房子其实也尚未完工，很少有承包商愿意跑到这么偏远的地方来。辛顿雇来的人也犯了一些不必要的失误（把排水管接到上坡上、地板做到一半不做了），这至今仍让他愤愤不平。几乎每个房间都有一个需要修正的小项目，在我参观的时候，辛顿已经在建筑材料上做了一些小标注，来帮助新的承包商。这些标注通常直接写在建筑材料上面。在一楼的浴室里，靠墙的一块底板上写着：“浴室应使用这种底板（仅限淋浴器前的枫木装饰）。”在客房的壁橱里，遮蔽胶带沿着架子延伸过去：“请勿为搁板打底，而应为搁板的支架打底。”

给事物贴标签对大脑也很有用，它能帮助大脑把握现实。但是，贴标签对人工的心智意味着什么呢？当辛顿在爱丁堡大学获得人工智能博士学位时，他思考了如何在计算机中模拟大脑中的“认知”。当时，也就是1970年代，绝大多数人工智能研究人员都是“符号学派（symbolists）”。在他们看来，对番茄酱的认识可能涉及诸多概念，如“食物”“酱汁”“调味品”，“甜味”“鲜味”“红色”“西红柿”，“美国人”“炸薯条”“蛋黄酱”和 “芥末”。这些概念掺杂在一起，就形成了“番茄酱”这样一个新的概念。有一个资金雄厚的大型人工智能项目名为Cyc，其核心是建立一个庞大的知识库，科学家们可以使用一种特殊的语言，将概念、事实、规则以及不可避免的例外情况输入其中（比如，鸟会飞，但企鹅、翅膀受损的鸟却……）。

但是，辛顿对这种方法存疑。它似乎过于僵化，过于专注于哲学家和语言学家所持有的推理能力。他知道，在自然界中，许多动物在没有可以用语言表达的概念时，也能做出智能行为。它们只是通过经验学会了如何变得聪明。智慧的源泉是学习，而非知识。

人类的复杂思维似乎往往是通过符号和文字进行的。但是，辛顿和他的合作者詹姆斯·麦克利兰（James L. McClelland）以及戴维·鲁梅尔哈特（David Rumelhart）认为，很多行为都发生在子概念（sub-conceptual）层面。他们写道，“请留意，如果你了解到关于某个事物的新事实，你对其他类似事物的预期也往往会发生变化。”

例如，如果你被告知黑猩猩喜欢洋葱，你可能会猜测大猩猩也喜欢洋葱。这表明，知识很可能“分布”在大脑中，由相关想法间共享的小模块组成。“黑猩猩”和 “大猩猩”这两个概念不会有两个独立的神经元网络，相反，表征各种具体或抽象“特征”的神经元束——茸毛、四足的、灵长的、动物的、智力、野性等等，可能会以一种方式被激活，以表征“黑猩猩”，而以略微不同的方式被激活，表征“大猩猩”。这些特征之外，我们还可以加上“洋葱头”等特征。这样构建的大脑有可能陷入混乱和错误：将各种特征以错误的排列方式混合在一起，你会得到一个既不是大猩猩也不是黑猩猩的幻想生物。但是，拥有正确学习算法的大脑可能会调整神经元之间的权重，使合理的组合优于不合逻辑的组合。

辛顿不断探索这类想法，先是在加利福尼亚大学圣迭戈分校做博士后（并与乔安妮结婚，辛顿是乔安妮在计算机视觉方向的导师），然后在剑桥大学做应用心理学研究员，再到匹兹堡的卡内基梅隆大学，并在1982年成为计算机科学教授。在那里，他把大部分研究预算都花在了一台足以运行神经网络的计算机上。不久，他第二次结婚，妻子是分子生物学家罗莎琳德·扎林（Rosalind Zalin）。在卡内基梅隆大学，辛顿取得了突破性进展。他与计算机科学家兼神经科学家特伦斯·塞伊诺夫斯基（Terrence Sejnowski）合作，开发出了一种名为“玻尔兹曼机”（Boltzmann Machine）的神经网络。这个系统的名字致敬了路德维希·玻尔兹曼（Ludwig Boltzmann），这位19世纪奥地利物理学家用数学方法，描述了气体在大尺度上的行为，与其组成粒子在小尺度上的行为之间的关系。辛顿和塞伊诺夫斯基将这些方程与“学习理论”相结合。

辛顿不愿向我解释玻尔兹曼机。“我来告诉你这是一种什么感觉，”他说，“这好比你有一个小孩，你带着他去散步。前面有座山，你得把这个小孩带到山顶再折回来。”他看着我（比喻中的孩子）叹了口气。他的担心是对的，我可能会被简化的解释误导，进而误导他人。“试图解释你不理解的复杂想法是没有用的。首先，你必须了解某样东西是如何运作的。否则，这对你都只是些无稽之谈。”最后，他拿起几张纸，开始绘制用箭头连接的神经元图，并写出方程式，我试着理解这些东西（在来拜访前，我在“可汗学院”学习了线性代数课程）。

辛顿建议，有一种理解玻尔兹曼机的方法，是想象一套辨认罪犯用的容貌拼图片：通过这个系统，可以将脸部的各种特征——浓眉、蓝眼睛、歪鼻子、薄嘴唇、大耳朵等等，组合在一起，生成一张类似警察使用的那种合成素描。要让容貌拼图片发挥作用，必须对特征本身进行恰当的设计。通过改变人工神经元之间的连接权重，玻尔兹曼机不仅能学会组合特征，还能学会设计特征。玻尔兹曼机将从杂乱到像电视屏幕上雪花那样的特征开始，然后进行两个阶段：“清醒”和“睡眠”来完善这些特征。在“清醒”时，它会调整这些特征，使它们更符合真实的面孔。在“睡眠”时，它会幻想出一张并不存在的脸，然后修改特征，使这些特征拟合起来更差。

它在梦里告诉自己不该学什么。这个系统非常优雅：随着时间的推移，它能逐渐远离错误，走向实，不需要有人去告诉它是对还是错。它只需要看见实在，梦见虚幻。

辛顿和塞伊诺夫斯基在1983年的一篇论文中描述了玻尔兹曼机。杨立昆跟我说：“我在研究生刚开始时读到了那篇论文，我说，‘我必须找这些人谈谈，他们是世界上唯一懂得我们需要学习算法的人’。”80年代中期，自然语言处理和计算机视觉领域的先驱、现任魁北克人工智能研究所Mila科学主任的约书亚·本吉奥（Yoshua Bengio），训练了一台玻尔兹曼机来识别口语音节，以此作为他硕士论文的一部分。“杰夫是外审人员之一，”本吉奥回忆道，“他写道：‘这不会成功’。”然而，本吉奥版本的玻尔兹曼机比辛顿预期的更有效，而本吉奥花了几年时间才找出成功的原因。这种模式将变成大家再熟悉不过的那种——在随后的几十年里，神经网络的表现往往比预期的要好，这也许是因为神经元在训练过程中形成了新的架构。本吉奥回忆说：“实验部分的工作先于理论。我们通常是尝试新的方法，看看神经网络自己能产生点什么。”

辛顿说，部分由于罗莎琳德厌恶罗纳德·里根（Ronald Reagan），他们搬到了多伦多大学。他们从拉丁美洲领养了一男一女两个孩子，住在城里的一所房子里。辛顿说：“我是那种一心扑在工作上的，无私奉献的教授。”

罗莎琳德曾为不孕不育而苦恼，也曾与冷酷无情的医生有过不愉快的经历。也许正因如此，当她后来被诊断出患有卵巢癌时，她选择了顺势疗法（homeopathy）*。“这根本说不通，”辛顿说，“你不可能越稀释某些东西，它们反而越厉害。”他不明白一个分子生物学家怎么会赞同顺势疗法。尽管如此，罗莎琳德还是决心自己治疗癌症，即使检查发现肿瘤有柚子那么大，她也拒绝手术。后来，她虽然同意手术，但拒绝化疗，转而寻求愈加昂贵的顺势疗法，先是在加拿大，后来又去瑞士。她患上了继发性肿瘤，要求辛顿卖掉他们的房子，以支付新的顺势疗法费用。他回忆道：“我在那里跟她划清了底线，”辛顿紧眯双眼，痛苦呼之欲出，“我对她说：‘不行，我们不会卖房子。因为如果你死了，我就得照顾孩子们，如果我们有个房子，对他们而言会好得多。’”

*译者注

其理论基础是“用同样的制剂治疗同样的疾病”。

罗莎琳德回到加拿大后立即住进了医院。她坚持了几个月，但直到去世前一天都不肯让孩子们来看她，因为她不想让他们看到自己病得如此之重。在整个病程中，她一直坚信自己很快就会好起来。在描述这一切时，辛顿仍显得痛苦难当：他愤怒、内疚、受伤、困惑。罗莎琳德去世时，辛顿46岁，儿子5岁，女儿3岁。他说：“她伤害了大家，因为她拒绝接受自己即将死去的现实。”

海浪声填满了午后的宁静。强烈的金黄阳光透过房间的落地窗洒了进来，细小的蛛网延伸到窗外，在光线的映衬下显得格外清晰。辛顿站了一阵，收拾好心情。

他说：“我想我得去砍棵树了。”

我们走出前门，沿着小路来到棚屋前。辛顿从其中一个棚子里拿出一把绿色的小电锯和一些安全护目镜。

“罗斯玛丽说过，周围没人的时候我不能砍树，以防砍断胳膊什么的。”他问我，“你以前开过船吗？”

“没有。”我说。

“那我就不会砍掉我的右臂了。”

在卡其裤外面，他绑上了一双防护套鞋。

“我不想给你留下我知道自己在做什么的印象，”他说。“但基本原理是，你在树上砍很多V字，然后树就倒了。”

辛顿穿过小路，来到他心中选定的那棵树旁，一边走一边检查灌木丛中是否有蛇。这棵树是一棵枝繁叶茂的雪松，大概有20英尺高。辛顿抬头看了看树的倾斜方向，然后启动锯子，开始在树干与倾斜方向相反的一侧切割。他取下锯子，又切割了一次，割痕汇聚形成了一个V字形。然后他停了下来，转过身对我解释：“因为树身偏离切口，所以随着你的切入，V字形就会裂开，锯条就不会被卡住。”

辛顿默默地操作着电锯，偶尔停下来擦擦眼眉。太阳毒辣，蚊子从每一个阴暗的角落蜂拥而至。我检查了一下棚子的侧面，那里的蚂蚁和蜘蛛正在进行着不为人知的、无休止的活动。在小路的尽头，水面波光粼粼，这里是个山清水秀的地方。不过，我想我明白辛顿为什么要锯它了：一座可爱的圆形山丘向下延伸到一个平缓的山洞里，如果没有这棵多余的树，光线就可以流入山洞。这棵树是个错误的存在。

最后，他在树的另一侧开始了第二刀，向第一刀倾斜。然后，他来回移动，加深了两道切口，让树变得摇摇欲坠。突然，重力几乎无声无息地占据了上风。大树在自身重量的作用下倾倒，以惊人的柔软姿态倒向洞底。光线射了进来。

反向传播

辛顿爱上了玻尔兹曼机。他希望玻尔兹曼机，或者类似的东西，以真实大脑的学习方式作为基础。“这应该成真，”他告诉我，“如果我是上帝，我会让它成真。”然而，进一步的实验发现，随着玻尔兹曼机的成长，它们往往会因内置的随机性而不堪重负。“杰夫和我对玻尔兹曼机的看法并不一致，”杨立昆说，“杰夫认为它是最漂亮的算法。我却认为它很丑陋。它是随机（stochastic）的，也就是说，部分基于无序性（randomness）。相比之下，我认为反向传播算法（backpropagation）更加简洁。”

从20世纪60年代开始，一些研究人员对反向传播算法进行了探索。就在辛顿与塞伊诺夫斯基合作研究玻尔兹曼机的同时，他还与鲁梅尔哈特和另一位计算机科学家罗纳德·威廉姆斯（Ronald Williams）合作研究反向传播。他们怀疑这种技术在学习方面具有尚未开发的潜力，他们尤其希望将其与跨越多层运行的神经网络结合起来。

理解反向传播的一种方法，是想象一个卡夫卡式的司法系统。把神经网络的上层想象成一个陪审团，它们永远审理着案件。在陪审团刚做出判决时，在反向传播的反乌托邦世界里，法官可以告诉陪审员，他们的判决是错误的，他们将受到惩罚，直到他们改过自新。陪审员们发现，他们当中有三人在引领大家走上错误的道路时影响特别大。这种责任分摊是反向传播的第一步。

下一步，这三个头脑发热的陪审员要确定他们自己是如何被误导的。他们会考虑自己受到的影响——父母、老师、专家学者等，并找出误导他们的人。反过来，这些应受指责的影响者也必须找出他们的影响者，并在那些影响者之间分摊责任。随后是一轮又一轮的相互指责，每一层影响者都要求自己的影响者承担责任，这就是一个反向的连环套。最后，一旦知道谁误导了谁，误导了多少，神经网络就会按比例地进行自我调整，让每个人少受一点“坏”影响，多受一点“好”影响。整个过程以数学上的精确度一次又一次地重复，直到所有判决（不仅仅是在这个案例中，而是在所有案例中）都尽可能地“正确”。

1986 年，辛顿、鲁梅尔哈特和威廉姆斯在《自然》杂志上发表了一篇长达三页的论文，展示了这种系统如何运行于神经网络中。他们指出，与玻尔兹曼机一样，反向传播并不是一个“大脑学习的合理模型”：与计算机不同，大脑不能倒带以审核其过去的表现。但反向传播仍能实现类似大脑的神经特性。在真实的大脑中，神经元有时会排列成旨在解决特定问题的结构：例如，在视觉系统中，不同“列”的神经元能识别我们所看到事物的边缘。反向网络中也有类似的情况：高层神经元会对低层神经元施加一种演化压力。其结果是，比如负责破译笔迹的神经网络的某些层，可能会变得专注于识别线条、曲线或边缘。最终，整个系统可以发展出“适当的内部表征”。神经网络会了解并利用自己拥有的知识。

在20世纪50、60年代，“感知机”和其他连接主义研究成果曾反响巨大。但在随后的几年里，人们对连接主义的热情逐渐退却。反向传播论文是兴趣复苏的功臣之一，它赢得了广泛关注。但由于实践和概念上的原因，构建反向传播网络的工作进展缓慢。从实际上讲，这是由于计算机发展迟缓。“反向传播的进展速度基本上取决于计算机一夜之间能学会多少东西。”辛顿回忆道，“答案往往是学不了多少。”在概念上，神经网络是神秘的，因为它不可能用传统的方法编程，你无法编辑人工神经元之间连接的权重。而且不论怎样，你都很难理解权重的含义，因为它们会通过自我训练不断调整和改变。

反向传播的学习过程也存在很多易错点。例如，在“过拟合”的过程中，网络会选择记住训练数据，而不是学习从数据中归纳总结。避免各式各样的陷阱往往不那么简单，因为这完全取决于网络自身。这就像砍树一样：研究人员可以在这里或那里进行切割，但随后树会倒向哪里完全由树决定。研究人员可以尝试“集成学习”（将弱网络组合成强网络）或“提前停止”（让网络学习，但不要学得过多）等技术，他们也可以利用玻尔兹曼机对系统进行“预训练”，让它预习一些知识，然后在此之上建立一个反向传播网络。这样，系统要等到掌握了一些基本知识后才开始“监督”训练。随后，他们才让神经网络自由学习，希望它能达到他们期望的要求。

新的神经网络“架构”也应运而生。“循环”和“卷积”网络让系统以各方各式在自身工作的基础上取得进步。但是，研究人员仿佛发现了一种来自外星的技术一般，并不知道如何去使用神经网络。他们把魔方转来转去，试图乱中求序。“我一直坚信神经网络不是无稽之谈，"辛顿说，“它对我来说并不是信仰，而是显而易见的。”大脑利用神经元进行学习，因此，通过神经网络进行复杂的学习也一定是可行的。他将以双倍的努力工作和双倍的时间来证明这点。

当网络通过反向传播进行训练时，它们需要被告知何时出错以及错了多少，这就需要大量准确标记的数据，让网络能够知道手写体“7”和“1”之间的区别，或金毛猎犬和红猎犬之间的区别。但很难找到足够大且标记准确的数据集，建立更多的数据集也很困难。杨立昆和他的合作者开发了一个巨大的手写数字数据库，后来他们用这个数据库训练出了能够读取美国邮政服务公司提供的邮政编码样本的神经网络。斯坦福大学计算机科学家李飞飞带头开发了一个名为ImageNet的庞大数据库。创建该数据库需要收集超过1400万张图片，并手工将其分为2万个类别。

随着神经网络规模的不断扩大，辛顿想出了一种方法：将大型网络中的知识转化为小型网络（小到可在手机等设备上运行）中的知识。他在厨房解释说：“这叫知识蒸馏。”在学校时，美术老师会给我们看一些幻灯片，然后说：‘这是鲁本斯，那是梵高，这是威廉·布莱克。’但假设美术老师告诉你：‘好吧，这是提香·韦切利奥，但这是一个奇特的提香，因为它的某些方面很像拉斐尔，这对提香来说非同寻常。’这样似乎对你更有帮助。他们不仅告诉你正确答案，而且告诉你其他似是而非的答案。”在“蒸馏学习”中，一个神经网络为另一个神经网络提供的不仅仅是正确答案，还有一系列可能的答案及其概率。这是一种更为丰富的知识。

罗莎琳德去世几年后，辛顿与杰奎琳·福特（Jacqueline Ford，以下称作杰姬）重逢。杰姬是一位艺术史学家，辛顿在搬到美国去之前和她曾短暂约会过。她有教养、热情、富有好奇心、漂亮。辛顿的姐姐说：“你跟她比可差远了。”尽管如此，杰姬还是放弃了在英国的工作，与辛顿一起搬到了多伦多。1997年12月6日，他们结婚了，那天是辛顿50岁生日。接下来的几十年是他一生中最幸福的时光，他的家庭又重获完整。他的孩子们喜欢他们的新妈妈，他和杰姬开始探索乔治亚湾的岛屿。回忆起这段时光，他凝视着客厅里的独木舟。他说：“我们在树林里发现了这艘独木舟，它倒立着，上面覆盖着帆布，已经完全腐烂了，所有的东西都腐烂了。但杰姬还是打算救它，就像她救我和孩子们一样。”

辛顿并不喜欢反向传播。他告诉我：“这在智力上是多么令人不满啊。与玻尔兹曼机不同，它是完全确定的。不幸的是，它的确更好用。”慢慢地，随着实际的进展，反向传播的威力变得不可否认。辛顿告诉我，1970年代初，英国政府聘请了一位名叫詹姆斯·莱特希尔（James Lighthill）的数学家来确定人工智能研究是否有成功的可能。莱特希尔的结论是不可能。“他是对的，”辛顿说，“前提是他做了一个当时大家一致认同的假设：计算机的速度也许会快一千倍，但不会快十亿倍。”辛顿在脑子里算了一笔账，假设在1985年，他开始在一台极快的研究计算机上运行一个程序，一直运行到现在，然后现在他开始在目前人工智能领域使用的最快系统上运行相同的程序，只需要不到一秒钟的时间就能赶上前一个。

2000 年初，随着配备着强大计算机的多层神经网络开始在更大的数据集上进行训练，辛顿、本吉奥和杨立昆开始谈论“深度学习”的潜能。2012年，辛顿、亚历克斯·克里泽夫斯基（Alex Krizhevsky）和伊尔亚·苏茨克维（Ilya Sutskever）推出了AlexNet，这是一个8层神经网络，终于能够识别出ImageNet中的物体，且准确率达到人类水平。辛顿、克里泽夫斯基和苏茨克维成立了一家公司，并将其卖给了谷歌。他和杰姬用这笔财富买下了乔治亚湾的一座小岛。“那是我一次真正的放纵”，辛顿说。

两年后，杰姬被诊断出患有胰腺癌。医生估计她还能活一两年。“她非常勇敢，也非常理性，”辛顿说，“她并没有极力否认，拼命想摆脱困境。她的观点是‘我可以自怜自悯，也可以说我时日无多，我应极力享受这段时光，让其他人一切安好’。”在决定治疗方法之前，她和辛顿仔细研究了统计数据。通过化疗，她将一两年的时间延长到了三年。在小别墅里，当她无法再走楼梯时，辛顿用绳子编了一个小篮子，这样她就可以把茶从二楼放到一楼，然后他可以用微波炉加热。(他后来发现：“我应该把微波炉直接搬楼上去的。”）

这天的晚些时候，我们靠在辛顿的办公桌上，他用笔记本电脑给我看杰姬的照片。在一张他们婚礼当天的照片中，她和辛顿带着孩子们站在邻居家的客厅里交换誓言。辛顿看起来神采奕奕、放松舒适。杰姬用双手轻轻握住他的一只手。在他给我看的最后一张照片中，她在码头附近斑驳的水面上划着酒红色的独木舟，凝视着镜头。“那是2017年的夏天。”辛顿说。杰姬于次年4月去世。那年6月，辛顿、本吉奥和杨立昆获得了“图灵奖”（相当于计算机科学领域的诺贝尔奖）。https://www.thepaper.cn/newsDetail_forward_28969976

谢谢分享哦！

刚刚，2024年诺贝尔化学奖揭晓！


北京时间10月9日下午5点45分许，2024年诺贝尔化学奖揭晓。美国科学家David Baker获奖，以表彰其在计算蛋白质设计方面的贡献；另一半则共同授予英国科学家Demis Hassabis和John M. Jumper，以表彰其在蛋白质结构预测方面的贡献。

2024年的诺贝尔奖单项奖金为1100万瑞典克朗，与2023年持平，合人民币744.117万元。

他们破解了蛋白质奇妙结构的密码

2024年诺贝尔化学奖是关于蛋白质的，而蛋白质正是生命中巧妙的化学工具。David Baker成功地完成了一项几乎不可能完成的壮举——制造出了全新种类的蛋白质。Demis Hassabis和John Jumper则开发了一个人工智能模型来解决一个50年的难题——预测蛋白质的复杂结构。这些发现蕴藏着巨大的潜力。

生命的多样性证明了蛋白质作为化学工具的惊人能力。它们控制和驱动所有的化学反应，这些化学反应共同构成了生命的基础。蛋白质还可以作为激素、信号物质、抗体以及不同组织的组成部分。

“今年被认可的一项发现涉及惊人蛋白质的构建。另一个则是实现了一个长达50年的梦想——通过氨基酸序列预测蛋白质结构。这两个发现开辟了巨大的可能性”，诺贝尔化学委员会主席Heiner Linke说。

蛋白质通常由20种不同的氨基酸组成，这些氨基酸可以被描述为生命的基础模块。2003年，David Baker成功地利用这些模块设计出了一种不同于其他蛋白质的新蛋白质。从那以后，他的研究小组创造了一种又一种富有想象力的蛋白质，包括可用于药物、疫苗、纳米材料和微型传感器的蛋白质。

第二个发现涉及蛋白质结构的预测。在蛋白质中，氨基酸以长串连接在一起，折叠起来形成三维结构，这对蛋白质的功能起着决定性的作用。自20世纪70年代以来，研究人员一直试图通过氨基酸序列预测蛋白质结构，但是极为困难。四年前，一项惊人的突破出现了。

2020年，Demis Hassabis和John Jumper开发了一个名为AlphaFold2的人工智能模型。在它的帮助下，他们已经能够预测研究人员已经确定的几乎所有2亿种蛋白质的结构。自从他们取得突破以来，AlphaFold2已经被来自190个国家的200多万人使用。在无数的科学应用中，研究人员现在可以更好地了解抗生素耐药性，并创建可以分解塑料的酶的图像。

没有蛋白质，生命就不会存在。而现在，我们可以预测蛋白质结构并设计我们自己的蛋白质，这给人类带来了巨大的好处。

David Baker，1962年出生于美国西雅图。1989年从美国加州大学伯克利分校获得博士学位。目前为美国华盛顿大学教授。

Demis Hassabis，1976年出生于英国伦敦。2009年从英国伦敦大学学院获得博士学位。目前为谷歌DeepMind CEO。

John M. Jumper，1985年出生于美国阿肯色州小石城。2017年从美国芝加哥大学获得博士学位。目前为谷歌DeepMind资深科学家。

谢谢分享！

友情支持。