Applied Time Series Lecture notes.
This was the oneI used in my UG study. R was used for this course



1 Introduction 5
1.1 Examples of time series . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2 Classical Decomposition 11
2.1 Stationarity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1.1 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.1.2 White noise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.1.3 Distribution of autocorrelations . . . . . . . . . . . . . . . . . . . . . . 14
2.2 Classical decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2.1 Evolution of the seasonal . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2.2 Smoothingmethods . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2.3 Seasonal decomposition using X–12 . . . . . . . . . . . . . . . . . . . . 25
2.3 Structural equation modelling . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.3.1 Basic Structuralmodel . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.4 Statistics New Zealand . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.5 Naive forecasting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3 Stationary time series 37
3.1 ARMAmodels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.1.1 First order auto-regression model . . . . . . . . . . . . . . . . . . . . . 43
3.1.2 First orderMoving Average . . . . . . . . . . . . . . . . . . . . . . . . 45
3.1.3 ARMA(1,1)model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.2 Autoregressionmodels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.2.1 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.2.2 Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.2.3 Finding AR order p . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.2.4 AR modelling in R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.3 Moving averagemodel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.4 ARMAmodels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.4.1 Estimating model order p, q . . . . . . . . . . . . . . . . . . . . . . . . 62
3.5 Model diagnostics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.5.1 ACF and PACF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.5.2 Ljung-Box test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.6 Forecasting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
4 ARIMA models for non-stationary data 72
4.1 ARIMA processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.1.1 Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.1.2 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.1.3 Diagnostic checking . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.2 Models for seasonals and trends . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.2.1 SeasonalARIMAmodel . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.2.2 Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.2.3 Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.2.4 Diagnostic checking . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.3 Prediction fromARIMAmodels . . . . . . . . . . . . . . . . . . . . . . . . . 86
5 Input-output models 90
5.1 Regression with correlated errors . . . . . . . . . . . . . . . . . . . . . . . . . 90
5.2 Interventionmodels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.3 Distributed lagsmodels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
ii
5.3.1 Geometricmodels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.4 Rational distributed lags models . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.4.1 identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
5.4.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
A Exercises 1
B Tutorials 1
C Project 1
C.1 Topics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
D Exampapers and solutions 1
iii