Rick Durrett也就是Richard Durrett。
这是他的书《essentials of stochastic process》正在修改中的第二版。原书第一版是由springer出版社1999年出版的。正式的第二版估计要2013年才出。
章节目录如下。
1 Markov Chains 3
1.1 Definitions and Examples . . . . . . . . . . . . . . . 3
1.2 Multistep Transition Probabilities . . . . . . . . . . . 13
1.3 Classification of States . . . . . . . . . . . . . . . . . 18
1.4 Stationary Distributions . . . . . . . . . . . . . . . . 27
1.5 Limit Behavior . . . . . . . . . . . . . . . . . . . . . 33
1.6 Special Examples . . . . . . . . . . . . . . . . . . . . 42
1.6.1 Doubly stochastic chains . . . . . . . . . . . . 42
1.6.2 Detailed balance condition . . . . . . . . . . . 45
1.6.3 Reversibility . . . . . . . . . . . . . . . . . . . 51
1.7 Proofs of the Theorems 1.7–1.11 . . . . . . . . . . . . 53
1.8 Exit distributions . . . . . . . . . . . . . . . . . . . . 60
1.9 Exit times . . . . . . . . . . . . . . . . . . . . . . . . 68
1.10 Infinite State Spaces* . . . . . . . . . . . . . . . . . . 75
1.11 Chapter Summary . . . . . . . . . . . . . . . . . . . 83
1.12 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . 87
2 Poisson Processes 107
2.1 Exponential Distribution . . . . . . . . . . . . . . . . 107
2.2 Defining the Poisson Process . . . . . . . . . . . . . . 112
2.3 Compound Poisson Processes . . . . . . . . . . . . . 120
2.4 Transformations . . . . . . . . . . . . . . . . . . . . . 123
2.4.1 Thinning . . . . . . . . . . . . . . . . . . . . . 123
2.4.2 Superposition . . . . . . . . . . . . . . . . . . 125
2.4.3 Conditioning . . . . . . . . . . . . . . . . . . 126
2.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . 128
3 Renewal processes 137
3.1 Laws of large numbers . . . . . . . . . . . . . . . . . 137
3.2 Applications to Queueing Theory . . . . . . . . . . . 146
3.2.1 GI/G/1 queue . . . . . . . . . . . . . . . . . . 146
3.2.2 M/G/1 queue . . . . . . . . . . . . . . . . . . 150
3.3 Age and Residual Life . . . . . . . . . . . . . . . . . 153
3.3.1 Discrete case . . . . . . . . . . . . . . . . . . 153
3.3.2 Age . . . . . . . . . . . . . . . . . . . . . . . 155
3.3.3 General case . . . . . . . . . . . . . . . . . . . 157
3.4 Renewal equations . . . . . . . . . . . . . . . . . . . 162
3.5 Exercises . . . . . . . . . . . . . . . . . . . . . . . . 167
4 Markov Chains in
Continuous Time 171
4.1 Definitions and Examples . . . . . . . . . . . . . . . 171
4.2 Computing the Transition Probability . . . . . . . . . 179
4.3 Limiting Behavior . . . . . . . . . . . . . . . . . . . . 185
4.4 Markovian Queues . . . . . . . . . . . . . . . . . . . 192
4.5 Queueing Networks . . . . . . . . . . . . . . . . . . . 199
4.6 Closed Queueing Networks . . . . . . . . . . . . . . . 209
4.7 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . 215
5 Martingales 225
5.1 Conditional Expectation . . . . . . . . . . . . . . . . 225
5.2 Examples of Martingales . . . . . . . . . . . . . . . . 228
5.3 Properties of Martingales . . . . . . . . . . . . . . . . 231
5.4 Applications . . . . . . . . . . . . . . . . . . . . . . . 235
6 Finance 239
6.1 Two simple examples . . . . . . . . . . . . . . . . . . 239
6.2 Binomial model . . . . . . . . . . . . . . . . . . . . . 245
6.3 Black-Scholes formula . . . . . . . . . . . . . . . . . . 252
A Review of Probability 259
A.1 Probabilities, Independence . . . . . . . . . . . . . . 259
A.2 Random Variables, Distributions . . . . . . . . . . . 265
A.3 Expected Value, Moments . . . . . . . . . . . . . . . 272