1 Introduction ......................................... 1
1.1 Introduction to Gaussian-Process Regression . . . . . . . . . . . . . . . . 3
1.1.1 Preliminaries. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.2 Gaussian-Process Regression. . . . . . . . . . . . . . . . . . . . . . 7
1.2 Relevance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.3 Outline of the Book . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2 System Identification with GP Models....................... 21
2.1 The Model Purpose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.2 Obtaining Data—Design of the Experiment, the Experiment
Itself and Data Processing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.3 Model Setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.3.1 Model Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.3.2 Selection of Regressors . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.3.3 Covariance Functions. . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.4 GP Model Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2.4.1 Bayesian Model Inference . . . . . . . . . . . . . . . . . . . . . . . 48
2.4.2 Marginal Likelihood—Evidence Maximisation . . . . . . . . . 50
2.4.3 Estimation and Model Structure . . . . . . . . . . . . . . . . . . . 56
2.4.4 Selection of Mean Function . . . . . . . . . . . . . . . . . . . . . . 59
2.4.5 Asymptotic Properties of GP Models . . . . . . . . . . . . . . . . 61
2.5 Computational Implementation . . . . . . . . . . . . . . . . . . . . . . . . . 62
2.5.1 Direct Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . 62
2.5.2 Indirect Implementation . . . . . . . . . . . . . . . . . . . . . . . . . 64
2.5.3 Evolving GP Models . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
2.6 Validation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
2.7 Dynamic Model Simulation. . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
2.7.1 Numerical Approximation. . . . . . . . . . . . . . . . . . . . . . . . 81
2.7.2 Analytical Approximation of Statistical Moments
with a Taylor Expansion . . . . . . . . . . . . . . . . . . . . . . . . 81