
OpenAI大约有十年历史了。
那时,OpenAI感觉就像众多初创公司中的一家(成熟的)初创公司。DeepMind已经存在,但尚未完全整合进谷歌。而当时,“深度学习三巨头”——LeCun、Hinton 和 Bengio ——出版了《自然中的深度学习》。
如今,人工智能就像是一种公共利益。那时候,主要是学者和技术宅才知道并关心它。如今,连孩子们都知道什么是人工智能并与之互动(有坏甚至更糟)。
这是一个节奏很快的领域,我很幸运是在“那时”不久后才加入的——那时正处于势头增强,但经典机器学习仍在大学教授:聚类、k-均值、虚拟模型。这也正好是社区开始明白,关注(和线性层次)就是我们所需要的全部。换句话说,那是开始学习机器学习的好时机。
随着今年即将结束,感觉是时候放眼远一点了。我每月反思一些小型、实用的课程并发表。大约每半年,我会寻找底层更大的主题:那些即使项目变化,也不断重复出现的模式。
这次,我的笔记中出现了四个主题:
《深度工作》(我最喜欢的) 过度认同自己的作品 体育(以及运动运动) 博客
深度工作
深度工作似乎是我最喜欢的主题——在机器学习领域它无处不在。
机器学习工作可以有多个重点,但大多数工作都围绕以下内容进行:
理论(数学、证明、细致推理), 编码(流水线、训练循环、调试), 写作(项目报告、论文、文档)。
所有这些都需要长时间持续的专注。
定理证明不是从五分钟的片段中诞生的。编程无疑会惩罚打断:如果你陷入严重的漏洞,有人把你拉出来,你不会只是“恢复”——你需要重建,这只是浪费时间。
写作同样脆弱。写出好句子需要关注,而当你的一天变成一连串小消息时,注意力首先消失。
我很幸运能在一个允许每周多次进行多小时深度工作的环境中工作。这并非常态——说实话,这可能是个例外。但这非常有成就感。我可以钻研几个小时,之后却筋疲力尽。
疲惫,但满足。
对我来说,深度工作一直意味着两件事,我半年前已经强调过:
技能:能够长时间深度集中精神。 环境:拥有允许并保护这种浓度的条件。
通常,如果你没有这个技能,更容易获得(或重新获得)。更难改变的是环境。你可以训练专注,但不能凭一夜之间删除会议或改变公司文化。
不过,给这两部分命名还是有帮助的。如果你在深度工作上遇到困难,可能不是缺乏自律。有时候,正如我的经验告诉我的,只是你的环境不允许你想做的事情。
过度认同自己的作品
你喜欢你的工作吗?
希望如此,因为你清醒时间中有很大一部分时间都在做这份工作。但即使你总体上喜欢你的工作,也会有时候你更喜欢它——有时你会不那么喜欢它。
像所有人一样,我两种情况都有。
有些阶段,我仅仅因为“在做机器学习的事情”而感到充满能量。
哇!
但也有一段时间,进展停滞——或者因为某个想法行不通而遭遇挫折——让我跌得很重。
一点也不惊讶。
多年来,我逐渐认为,从工作中获得过多的身份认同通常不是明智的策略。机器学习的工作充满了变数:实验失败,基线超过你的奇思妙想,审稿人误解,截止日期压缩,数据中断,优先级转移。如果你的自我认知随着最新的训练起伏,你同样可能是去迪士尼乐园坐过山车。
一个简单的比喻:想象你是一名体运动员。你训练多年。你灵活、强壮,能掌控自己的动作。然后你摔断了脚踝。突然间,你连最简单的跳跃都做不了。你不能像以前那样训练。如果你只是个运动员——如果这就是你的全部身份——那感觉就像在迷失自我。
幸运的是,大多数人不仅仅是他们的职业。即使他们有时会忘记。
机器学习也是如此。你可以是机器学习工程师、研究者或“理论人”——同时也可以是朋友、伙伴、兄弟姐妹、队友、读者、跑者、作家。当一部分经历低谷时,其他部分会稳住你。
这不是“我不在乎我的工作”。而是关心,但又不至于陷入困境。
体育,或一般的运动
当然,这根本不用多想。
机器学习的工作通常不会以频繁流动著称。你走的里程就是键盘上的手指里程。与此同时,身体的其他部分静止不动。
如果你任由这种事发生会发生什么,我就不必多说了。
好消息是:反制比以往任何时候都容易。现在有很多枯燥但有效的选择:
可调高度的办公桌 开会时走路(尤其是摄像头关闭时) 桌子下的行走垫 短时间活动训练(理想情况下,在深度训练之间)
多年来,运动已成为我工作日不可或缺的一部分。它帮助我以更顺畅的状态开始一天——不僵硬,不耷拉,也不“被压缩”。而且它能帮我在深度工作后排解疲劳。深度专注不仅精神疲惫,还会带来身体上的影响:肩膀抬起,脖子前倾,呼吸变得浅促。
搬家会重置这个。
我不把它当作“健身”。我把它当作一种保险,让我能做好工作多年。
博客
丹尼尔·伯克。
如果你在《迈向数据科学》上阅读机器学习内容已经很久了(至少五六年),这个名字可能听起来很熟悉。他发表了大量机器学习文章(当时TDS还托管在Medium上),他独特的写作风格将机器学习带给了更广泛的读者。
他的榜样激励我也开始写博客——也是为了TDS。我是在2019年底、2020年初开始的。
起初,写这些文章很简单:写一篇文章,发表它,然后继续。但随着时间推移,它变成了另一种东西:一种练习。写作会让你的想法变得精准。如果你无法用连贯的方式解释某件事,那你很可能并没有想象中那么理解它。
多年来,我讲解了机器学习路线图,写了教程(比如如何处理TFRecords),而且,是的,我不断回到深度工作——因为这对机器学习从业者来说越来越重要。
而写博客有两个方面的收获。
从经济角度来看,这份工作很有回报(多年来甚至帮助我资助了我用来写这篇文章的电脑)。但更重要的是,这作为一种写作练习,非常有收获。我把博客看作是一种训练我翻译能力的方式:把技术性的东西转化成其他受众能够理解的文字。
在这个节奏快且喜爱新奇的领域,这种翻译技巧异常稳定。模式会变。框架会变(Theano,有人知道吗?)。但清晰思考和清晰写作的能力会带来叠加。
结语
回顾八年“机器学习”的经历,这些主题都不是关于某个特定的机器学习模型或加快训练的技巧。
相反,这些教训是关于:
深度工作,使进步成为可能 不过度认同,这让挫折变得可以生存 运动,能让你的身体不被无声地退化 博客通过分享经验来训练你的清晰度
这些经验教训都与机器学习没有紧密关联。
但这些问题始终存在——并且在机器学习的这些年里一直伴随着我。
推荐学习书籍 《CDA一级教材》适合CDA一级考生备考,也适合业务及数据分析岗位的从业者提升自我。完整电子版已上线CDA网校,累计已有10万+在读~ !



雷达卡





京公网安备 11010802022788号







