机器学习领域如何选择研究方向-经管之家官网！

坛友互助群

扫码加入各岗位、行业、专业交流群

问：刚入博门的小博一枚，上个学期都在上课，科研几乎没怎么搞，这学期要进入科研状态了，关于研究方向，找导师谈过，具体方向没定，老板让我自己找，他只说他现在对深度学习和集成学习挺感兴趣。但是这两块都是很大的一块，这几周我都盲目的扫了很多文章，云里雾里各种晕头转向。那么，我要如何选择研究方向呢？在老板不给定方向的前提下。大家有什么好的建议？
补充一下：老板之前是做信息论和压缩感知的，从上学期开始，想搞机器学习了，组里把PRML这本书给讲过了，机器学习方面实验室算是没有其他积累。

答：我建议去做深度学习，并且结合老板的背景。 看看对下面这些方向是否感兴趣（毕竟你自己在做，我不建议你去做，像搭建convonet,然后跟别人拼accuracy)：

深度学习领域很广，模型又很多，但是人们对“深度学习为什么会work"仍然不是很清楚。比如用深度学习模型学出来的hidden units之间的关系是什么？ 深度模型中每一层学出来的到底是什么，有什么关联？为什么dropout会work, 怎么设计dropout使得学出来的模型更robust而且正确地分辨adversial example? 人们常说深度模型是universalapproximation, 那有没有某些region是deepnetwork不能capture的？ 人们常常去搭建很复杂的模型用几百万或者几亿个参数，但真的有必要吗？真的需要这么大的model capacity吗？ （从这个问题可以引申出一些modelcompression的问题，就是能不能用更小的模型去approximate原有非常庞大的模型)。 深度模型的重点是representation (很容易想象出会跟数学里的representation theory会有点关系）， Bengio等人强调好的representation是meaningful, invariant,abstract and disentangled， 那深度模型真的能学出这些吗？ 可不可以从实验的角度做些针对性的分析？ 能不能从理论的角度给出合理的解释？ ....

在这些分析和理论研究上会用到很多数学工具，比如信息论， 但不一定要数学背景非常好，如果能分析出有意思的现象，其实也很不错的。分析什么情况下深度模型会fail.....

这种问题目前都是largely open, 可以好好想想怎么结合你们实验室的优势（比如信息论， 压缩感知..） 去解决这些深度学习方面非常重要而且根本的问题， 应该是个不错的博士课题。

转自知乎「李文哲」回答

2016年，经管之家《机器学习》全国4月开课，详情请戳：http://www.peixun.net/view/558.html

扫码或添加微信号：坛友素质互助

「经管之家」APP：经管人学习、答疑、交友，就上经管之家！
免流量费下载资料----在经管之家app可以下载论坛上的所有资源，并且不额外收取下载高峰期的论坛币。
涵盖所有经管领域的优秀内容----覆盖经济、管理、金融投资、计量统计、数据分析、国贸、财会等专业的学习宝库，各类资料应有尽有。
来自五湖四海的经管达人----已经有上千万的经管人来到这里，你可以找到任何学科方向、有共同话题的朋友。
经管之家（原人大经济论坛），跨越高校的围墙，带你走进经管知识的新世界。
扫描下方二维码下载并注册APP