【主要内容】
1、MCMC算法的详细流程(包括M-H算法和Gibbs抽样)
2、EM算法的详细流程(主要对吴恩达CS229讲义做出了详细分析)
【资料部分内容截图】
【MCMC算法和 EM算法的介绍】
1、MCMC
马尔科夫链蒙特卡洛方法(Markov Chain Monte Carlo),简称MCMC,产生于19世纪50年代早期,是在贝叶斯理论框架下,通过计算机进行模拟的蒙特卡洛方法(Monte Carlo)。该方法将马尔科夫(Markov)过程引入到Monte Carlo模拟中,实现抽样分布随模拟的进行而改变的动态模拟,弥补了传统的蒙特卡罗积分只能静态模拟的缺陷。MCMC是一种简单有效的计算方法,在很多领域到广泛的应用,如统计物、贝叶斯(Bayes)问题、计算机问题等
2、EM
最大期望算法(Expectation-Maximization algorithm, EM),或Dempster-Laird-Rubin算法 [1] ,是一类通过迭代进行极大似然估计(Maximum Likelihood Estimation, MLE)的优化算法 [2] ,通常作为牛顿迭代法(Newton-Raphson method)的替代用于对包含隐变量(latent variable)或缺失数据(incomplete-data)的概率模型进行参数估计 [2-3] 。
【下载地址】