机器学习领域如何选择研究方向

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

问：刚入博门的小博一枚，上个学期都在上课，科研几乎没怎么搞，这学期要进入科研状态了，关于研究方向，找导师谈过，具体方向没定，老板让我自己找，他只说他现在对深度学习和集成学习挺感兴趣。但是这两块都是很大的一块，这几周我都盲目的扫了很多文章，云里雾里各种晕头转向。那么，我要如何选择研究方向呢？在老板不给定方向的前提下。大家有什么好的建议？
补充一下：老板之前是做信息论和压缩感知的，从上学期开始，想搞机器学习了，组里把PRML这本书给讲过了，机器学习方面实验室算是没有其他积累。

答：我建议去做深度学习，并且结合老板的背景。 看看对下面这些方向是否感兴趣（毕竟你自己在做，我不建议你去做，像搭建convonet,然后跟别人拼accuracy)：

深度学习领域很广，模型又很多，但是人们对“深度学习为什么会work"仍然不是很清楚。比如用深度学习模型学出来的hidden units之间的关系是什么？ 深度模型中每一层学出来的到底是什么，有什么关联？为什么dropout会work, 怎么设计dropout使得学出来的模型更robust而且正确地分辨adversial example? 人们常说深度模型是universalapproximation, 那有没有某些region是deepnetwork不能capture的？ 人们常常去搭建很复杂的模型用几百万或者几亿个参数，但真的有必要吗？真的需要这么大的model capacity吗？ （从这个问题可以引申出一些modelcompression的问题，就是能不能用更小的模型去approximate原有非常庞大的模型)。 深度模型的重点是representation (很容易想象出会跟数学里的representation theory会有点关系）， Bengio等人强调好的representation是meaningful, invariant,abstract and disentangled， 那深度模型真的能学出这些吗？ 可不可以从实验的角度做些针对性的分析？ 能不能从理论的角度给出合理的解释？ ....

在这些分析和理论研究上会用到很多数学工具，比如信息论， 但不一定要数学背景非常好，如果能分析出有意思的现象，其实也很不错的。分析什么情况下深度模型会fail.....

这种问题目前都是largely open, 可以好好想想怎么结合你们实验室的优势（比如信息论， 压缩感知..） 去解决这些深度学习方面非常重要而且根本的问题， 应该是个不错的博士课题。

转自知乎「李文哲」回答

2016年，经管之家《机器学习》全国4月开课，详情请戳：http://www.peixun.net/view/558.html

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏2 回帖

关键词：机器学习 研究方向 Presentation Presentatio compression 领域 如何