作为统计博士,印象中看书看教材都是应付考试的,看得最多的是论文。
我说论文影响更大是因为,不管什么教材&课程(包括博士课程),与之后科研期间中看的论文相比,也只能算是通识教育。但凡写成教材,其中内容至少已经是5yrs and above以前且比较成熟&严谨的成果了,要接触前沿问题只能多看论文。另一方面,博士科研方向太窄,博士生(除了大牛和从事科研多年又来读博的),能看好自己方向的论文已经非常不错了,很少有人能广泛涉猎各个领域的最新成果。所以除非你跟我同一个方向,否则说了你基本也不会真去看。
1. Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. 关于变量选择的。LASSO penalty太经典,虽然variable selection consistency不能保证,但仍然极具影响力,最近一次conference上我还见到某统计博士在此基础上修改提出了个partially LASSO的方法,然后以此毕业了。此外我博士期间最后一篇论文也有AE提出要与之作对比,虽然新方法将其虐出翔,但我不认为我的paper的影响力能及其十分之一(实际可能是百分之一,千分之一,甚至万分之一)。与此相关的还有很多,比如adaptive LASSO,效果会好很多,感兴趣可以去搜一下。
2. Jianqing Fan and Runze Li (2001). Variable Selection via Nonconcave Penalized Likelihood and its Oracle Properties. 同样关于变量选择,SCAD penalty,FAN太diao,提出个penalty,无解析表达式,但是好用(虽然后来不断有新方法提出,SCAD看起来已经不怎么好用了),仍然有后来者前仆后继地继续研究相关问题。
3. J. T. ORMEROD and M. P. WAND (2009). Explaining Variational Approximations. 贝叶斯统计计算范畴了,首个在统计学领域formulate了variational Bayes算法(虽然之前在cs已有一定应用),开启了其在贝叶斯统计各领域的应用,包括各种模型的估计,变量选择等,其计算速度远远快于MCMC(个人觉得非常有潜力)。但也有其短板:推导复杂度高。很多时候不得不结合如Laplace approximation一类的算法。所以就有另一篇文章相应地补充了一些有关诡异积分的计算方法:
4. M. P. Wand etl.(2012). Mean Field Variational Bayes for Elaborate Distributions. 如上所述。前人成果,对于采用VB算法估计各种模型非常有帮助,我也借鉴了一些。此外有人在搞结合VB与boosting算法做Bayesian variable selection(如果不小心透露了某些同学课题,轻拍)。
5. George, E., McCulloch, R. (1997). Approaches for Bayesian variable selection. 就上面提到的spike-and-slab prior,同样被很多人采用、修改过,应用到了各种模型的变量选择上。
6. Roˇckov′a, V., George, E. I. (2014). EMVS: the EM approach to Bayesian variable selection. 如上所述,同样可以考虑各种拓展。
(知乎 淙瀚)