<p>Probabilistic Inference Using<br/>Markov Chain Monte Carlo Methods</p><p><br/></p><p></p><p>Contents<br/>1. Introduction 1<br/>2. Probabilistic Inference for Articial Intelligence 4<br/>2.1 Probabilistic inference with a fully-specied model : : : : : : : : : : : : : : : 5<br/>2.2 Statistical inference for model parameters : : : : : : : : : : : : : : : : : : : : 13<br/>2.3 Bayesian model comparison : : : : : : : : : : : : : : : : : : : : : : : : : : : : 23<br/>2.4 Statistical physics : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 25<br/>3. Background on the Problem and its Solution 30<br/>3.1 Denition of the problem : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 30<br/>3.2 Approaches to solving the problem : : : : : : : : : : : : : : : : : : : : : : : : 32<br/>3.3 Theory of Markov chains : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 36<br/>4. The Metropolis and Gibbs Sampling Algorithms 47<br/>4.1 Gibbs sampling : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 47<br/>4.2 The Metropolis algorithm : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 54<br/>4.3 Variations on the Metropolis algorithm : : : : : : : : : : : : : : : : : : : : : : 59<br/>4.4 Analysis of the Metropolis and Gibbs sampling algorithms : : : : : : : : : : : 64<br/>5. The Dynamical and Hybrid Monte Carlo Methods 70<br/>5.1 The stochastic dynamics method : : : : : : : : : : : : : : : : : : : : : : : : : 70<br/>5.2 The hybrid Monte Carlo algorithm : : : : : : : : : : : : : : : : : : : : : : : : 77<br/>5.3 Other dynamical methods : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 81<br/>5.4 Analysis of the hybrid Monte Carlo algorithm : : : : : : : : : : : : : : : : : : 83<br/>6. Extensions and Renements 87<br/>6.1 Simulated annealing : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 87<br/>6.2 Free energy estimation : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 94<br/>6.3 Error assessment and reduction : : : : : : : : : : : : : : : : : : : : : : : : : : 102<br/>6.4 Parallel implementation : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 114<br/>7. Directions for Research 116<br/>7.1 Improvements in the algorithms : : : : : : : : : : : : : : : : : : : : : : : : : : 116<br/>7.2 Scope for applications : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 118<br/>8. Annotated Bibliography 121</p>