清晰,非扫描版!下面的目录就是复制下来的!
Contents
1 MarkovChains. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Probabilities of Sample Paths . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Construction of Markov Chains . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4 Examples. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.5 Stopping Times and Strong Markov Property . . . . . . . . . . . . . . 16
1.6 Classification of States . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.7 Hitting and Absorbtion Probabilities . . . . . . . . . . . . . . . . . . . . . . 26
1.8 Branching Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
1.9 Stationary Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.10 Limiting Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
1.11 Regenerative Property and Cycle Costs . . . . . . . . . . . . . . . . . . . 42
1.12 Strong Laws of Large Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
1.13 Examples of Limiting Averages . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
1.14 Optimal Design of Markovian Systems . . . . . . . . . . . . . . . . . . . . 53
1.15 Closed Network Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
1.16 Open Network Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
1.17 Reversible Markov Chains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
1.18 Markov Chain Monte Carlo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
1.19 Markov Chains on Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
1.20 Limit Theorems via Coupling . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
1.21 Criteria for Positive Recurrence . . . . . . . . . . . . . . . . . . . . . . . . . . 76
1.22 Review of Conditional Probabilities . . . . . . . . . . . . . . . . . . . . . . . 81
1.23 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
2 Renewal and Regenerative Processes . . . . . . . . . . . . . . . . . . . . . 99
2.1 Renewal Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
2.2 Strong Laws of Large Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
2.3 The Renewal Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
xi
xii Contents
2.4 Future Expectations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
2.5 Renewal Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
2.6 Blackwell’s Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
2.7 Key Renewal Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
2.8 Regenerative Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
2.9 Limiting Distributions for Markov Chains . . . . . . . . . . . . . . . . . 126
2.10 Processes with Regenerative Increments . . . . . . . . . . . . . . . . . . . 126
2.11 Average Sojourn Times in Regenerative Processes . . . . . . . . . . 129
2.12 Batch-Service Queueing System . . . . . . . . . . . . . . . . . . . . . . . . . . 132
2.13 Central Limit Theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
2.14 Terminating Renewal Processes . . . . . . . . . . . . . . . . . . . . . . . . . . 139
2.15 Stationary Renewal Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
2.16 Refined Limit Laws . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
2.17 Proof of the Key Renewal Theorem* . . . . . . . . . . . . . . . . . . . . . . 151
2.18 Proof of Blackwell’s Theorem* . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
2.19 Stationary-Cycle Processes* . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
2.20 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
3 Poisson Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
3.1 Poisson Processes on R+ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
3.2 Characterizations of Classical Poisson Processes . . . . . . . . . . . . 173
3.3 Location of Points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
3.4 Functions of Point Locations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
3.5 Poisson Processes on General Spaces . . . . . . . . . . . . . . . . . . . . . . 181
3.6 Integrals and Laplace Functionals of Poisson Processes . . . . . . 183
3.7 Poisson Processes as Sample Processes . . . . . . . . . . . . . . . . . . . . 188
3.8 Deterministic Transformations of Poisson Processes . . . . . . . . . 190
3.9 Marked and Space-Time Poisson Processes . . . . . . . . . . . . . . . . 194
3.10 Partitions and Translations of Poisson Processes . . . . . . . . . . . . 196
3.11 Markov/Poisson Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
3.12 Poisson Input-Output Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
3.13 Network of Mt/Gt/∞ Stations . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
3.14 Cox Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
3.15 Compound Poisson Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
3.16 Poisson Law of Rare Events. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
3.17 Poisson Convergence Theorems*. . . . . . . . . . . . . . . . . . . . . . . . . . 218
3.18 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
4 Continuous-Time Markov Chains . . . . . . . . . . . . . . . . . . . . . . . . . 241
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
4.2 Examples. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
4.3 Markov Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
4.4 Transition Probabilities and Transition Rates . . . . . . . . . . . . . . 251
4.5 Existence of CTMCs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
4.6 Uniformization, Travel Times and Transition Probabilities . . . 255
Contents xiii
4.7 Stationary and Limiting Distributions . . . . . . . . . . . . . . . . . . . . . 258
4.8 Regenerative Property and Cycle Costs . . . . . . . . . . . . . . . . . . . 263
4.9 Ergodic Theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
4.10 Expectations of Cost and Utility Functions . . . . . . . . . . . . . . . . 269
4.11 Reversibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
4.12 Modeling of Reversible Phenomena . . . . . . . . . . . . . . . . . . . . . . . 277
4.13 Jackson Network Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
4.14 Multiclass Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
4.15 Poisson Transition Times . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291
4.16 Palm Probabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299
4.17 PASTA at Poisson Transitions . . . . . . . . . . . . . . . . . . . . . . . . . . . 303
4.18 Relating Palm and Ordinary Probabilities . . . . . . . . . . . . . . . . . 306
4.19 Stationarity Under Palm Probabilities . . . . . . . . . . . . . . . . . . . . . 310
4.20 G/G/1, M/G/1 and G/M/1 Queues . . . . . . . . . . . . . . . . . . . . . . 314
4.21 Markov-Renewal Processes*. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321
4.22 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
5 Brownian Motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
6 Appendix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405
Bibliographical Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429
Notation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 435
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 437