楼主: CDA网校
90 0

[每天一个数据分析师] 经过8年机器学习的经验教训 [推广有奖]

管理员

已卖:189份资源

泰斗

3%

还不是VIP/贵宾

-

威望
3
论坛币
120347 个
通用积分
10713.1007
学术水平
278 点
热心指数
286 点
信用等级
253 点
经验
228753 点
帖子
6961
精华
19
在线时间
4381 小时
注册时间
2019-9-13
最后登录
2026-1-15

初级热心勋章

楼主
CDA网校 学生认证  发表于 8 小时前 |AI写论文

+2 论坛币
k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群
赵安豆老师微信:zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

感谢您参与论坛问题回答

经管之家送您两个论坛币!

+2 论坛币
照片作者:安东尼·托里,来自Unsplash
照片作者:安东尼·托里,来自Unsplash

OpenAI大约有十年历史了。

那时,OpenAI感觉就像众多初创公司中的一家(成熟的)初创公司。DeepMind已经存在,但尚未完全整合进谷歌。而当时,“深度学习三巨头”——LeCun、Hinton 和 Bengio ——出版了《自然中的深度学习》。

如今,人工智能就像是一种公共利益。那时候,主要是学者和技术宅才知道并关心它。如今,连孩子们都知道什么是人工智能并与之互动(有坏甚至更糟)。

这是一个节奏很快的领域,我很幸运是在“那时”不久后才加入的——那时正处于势头增强,但经典机器学习仍在大学教授:聚类、k-均值、虚拟模型。这也正好是社区开始明白,关注(和线性层次)就是我们所需要的全部。换句话说,那是开始学习机器学习的好时机。

随着今年即将结束,感觉是时候放眼远一点了。我每月反思一些小型、实用的课程并发表。大约每半年,我会寻找底层更大的主题:那些即使项目变化,也不断重复出现的模式。

这次,我的笔记中出现了四个主题:

  • 《深度工作》(我最喜欢的)
  • 过度认同自己的作品
  • 体育(以及运动运动)
  • 博客

深度工作

深度工作似乎是我最喜欢的主题——在机器学习领域它无处不在。

机器学习工作可以有多个重点,但大多数工作都围绕以下内容进行:

  • 理论(数学、证明、细致推理),
  • 编码(流水线、训练循环、调试),
  • 写作(项目报告、论文、文档)。

所有这些都需要长时间持续的专注。

定理证明不是从五分钟的片段中诞生的。编程无疑会惩罚打断:如果你陷入严重的漏洞,有人把你拉出来,你不会只是“恢复”——你需要重建,这只是浪费时间。

写作同样脆弱。写出好句子需要关注,而当你的一天变成一连串小消息时,注意力首先消失。

我很幸运能在一个允许每周多次进行多小时深度工作的环境中工作。这并非常态——说实话,这可能是个例外。但这非常有成就感。我可以钻研几个小时,之后却筋疲力尽。

疲惫,但满足。

对我来说,深度工作一直意味着两件事,我半年前已经强调过:

  1. 技能:能够长时间深度集中精神。
  2. 环境:拥有允许并保护这种浓度的条件。

通常,如果你没有这个技能,更容易获得(或重新获得)。更难改变的是环境。你可以训练专注,但不能凭一夜之间删除会议或改变公司文化。

不过,给这两部分命名还是有帮助的。如果你在深度工作上遇到困难,可能不是缺乏自律。有时候,正如我的经验告诉我的,只是你的环境不允许你想做的事情。

过度认同自己的作品

你喜欢你的工作吗?

希望如此,因为你清醒时间中有很大一部分时间都在做这份工作。但即使你总体上喜欢你的工作,也会有时候你更喜欢它——有时你会不那么喜欢它。

像所有人一样,我两种情况都有。

有些阶段,我仅仅因为“在做机器学习的事情”而感到充满能量。

哇!

但也有一段时间,进展停滞——或者因为某个想法行不通而遭遇挫折——让我跌得很重。

一点也不惊讶。

多年来,我逐渐认为,从工作中获得过多的身份认同通常不是明智的策略。机器学习的工作充满了变数:实验失败,基线超过你的奇思妙想,审稿人误解,截止日期压缩,数据中断,优先级转移。如果你的自我认知随着最新的训练起伏,你同样可能是去迪士尼乐园坐过山车。

一个简单的比喻:想象你是一名体运动员。你训练多年。你灵活、强壮,能掌控自己的动作。然后你摔断了脚踝。突然间,你连最简单的跳跃都做不了。你不能像以前那样训练。如果你只是个运动员——如果这就是你的全部身份——那感觉就像在迷失自我。

幸运的是,大多数人不仅仅是他们的职业。即使他们有时会忘记。

机器学习也是如此。你可以是机器学习工程师、研究者或“理论人”——同时也可以是朋友、伙伴、兄弟姐妹、队友、读者、跑者、作家。当一部分经历低谷时,其他部分会稳住你。

这不是“我不在乎我的工作”。而是关心,但又不至于陷入困境。

体育,或一般的运动

当然,这根本不用多想。

机器学习的工作通常不会以频繁流动著称。你走的里程就是键盘上的手指里程。与此同时,身体的其他部分静止不动。

如果你任由这种事发生会发生什么,我就不必多说了。

好消息是:反制比以往任何时候都容易。现在有很多枯燥但有效的选择:

  • 可调高度的办公桌
  • 开会时走路(尤其是摄像头关闭时)
  • 桌子下的行走垫
  • 短时间活动训练(理想情况下,在深度训练之间)

多年来,运动已成为我工作日不可或缺的一部分。它帮助我以更顺畅的状态开始一天——不僵硬,不耷拉,也不“被压缩”。而且它能帮我在深度工作后排解疲劳。深度专注不仅精神疲惫,还会带来身体上的影响:肩膀抬起,脖子前倾,呼吸变得浅促。

搬家会重置这个。

我不把它当作“健身”。我把它当作一种保险,让我能做好工作多年

博客

丹尼尔·伯克。

如果你在《迈向数据科学》上阅读机器学习内容已经很久了(至少五六年),这个名字可能听起来很熟悉。他发表了大量机器学习文章(当时TDS还托管在Medium上),他独特的写作风格将机器学习带给了更广泛的读者。

他的榜样激励我也开始写博客——也是为了TDS。我是在2019年底、2020年初开始的。

起初,写这些文章很简单:写一篇文章,发表它,然后继续。但随着时间推移,它变成了另一种东西:一种练习。写作会让你的想法变得精准。如果你无法用连贯的方式解释某件事,那你很可能并没有想象中那么理解它。

多年来,我讲解了机器学习路线图,写了教程(比如如何处理TFRecords),而且,是的,我不断回到深度工作——因为这对机器学习从业者来说越来越重要。

而写博客有两个方面的收获。

从经济角度来看,这份工作很有回报(多年来甚至帮助我资助了我用来写这篇文章的电脑)。但更重要的是,这作为一种写作练习,非常有收获。我把博客看作是一种训练我翻译能力的方式:把技术性的东西转化成其他受众能够理解的文字。

在这个节奏快且喜爱新奇的领域,这种翻译技巧异常稳定。模式会变。框架会变(Theano,有人知道吗?)。但清晰思考和清晰写作的能力会带来叠加。

结语

回顾八年“机器学习”的经历,这些主题都不是关于某个特定的机器学习模型或加快训练的技巧。

相反,这些教训是关于:

  • 深度工作,使进步成为可能
  • 不过度认同,这让挫折变得可以生存
  • 运动,能让你的身体不被无声地退化
  • 博客通过分享经验来训练你的清晰度

这些经验教训都与机器学习没有紧密关联。

但这些问题始终存在——并且在机器学习的这些年里一直伴随着我。

推荐学习书籍 《CDA一级教材》适合CDA一级考生备考,也适合业务及数据分析岗位的从业者提升自我。完整电子版已上线CDA网校,累计已有10万+在读~ !

免费加入阅读:https://edu.cda.cn/goods/show/3151?targetId=5147&preview=0

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

关键词:机器学习 学习的 Preview RECORDS Hinton

您需要登录后才可以回帖 登录 | 我要注册

本版微信群
加好友,备注cda
拉您进交流群
GMT+8, 2026-1-15 22:44