Introducing Monte Carlo Methods with R (Use R）英文版
目录
Preface : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : vii
List of Figures : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : xi
List of Examples : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : xv
1 Basic R Programming : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Getting started . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 R objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3.1 The vector class . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3.2 The matrix, array, and factor classes . . . . . . . . . . . . . . . . . . 9
1.3.3 The list and data.frame classes . . . . . . . . . . . . . . . . . . . . . . 12
1.4 Probability distributions in R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.5 Basic and not-so-basic statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.6 Graphical facilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.7 Writing new R functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
1.8 Input and output in R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
1.9 Administration of R objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
1.10 The mcsm package . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
1.11 Additional exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2 Random Variable Generation : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 41
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.1.1 Uniform simulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.1.2 The inverse transform. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.2 General transformation methods. . . . . . . . . . . . . . . . . . . . . . . . . . . 46
2.2.1 A normal generator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2.2.2 Discrete distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
2.2.3 Mixture representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
2.3 Accept{reject methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
ii
ii
x Contents
2.4 Additional exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3 Monte Carlo Integration : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 61
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.2 Classical Monte Carlo integration . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.3 Importance sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
3.3.1 An arbitrary change of reference measure . . . . . . . . . . . . . 69
3.3.2 Sampling importance resampling . . . . . . . . . . . . . . . . . . . . 75
3.3.3 Selection of the importance function . . . . . . . . . . . . . . . . . 78
3.4 Additional exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4 Controlling and Accelerating Convergence : : : : : : : : : : : : : : : : : 89
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
4.2 Monitoring variation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.3 Asymptotic variance of importance sampling estimators . . . . . . 92
4.4 E ective sample size and perplexity . . . . . . . . . . . . . . . . . . . . . . . . 98
4.5 Simultaneous monitoring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
4.6 Rao{Blackwellization and deconditioning . . . . . . . . . . . . . . . . . . . 107
4.7 Acceleration methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
4.7.1 Correlated simulations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
4.7.2 Antithetic variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
4.7.3 Control variates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
4.8 Additional exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5 Monte Carlo Optimization : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 125
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
5.2 Numerical optimization methods . . . . . . . . . . . . . . . . . . . . . . . . . . 127
5.3 Stochastic search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
5.3.1 A basic solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
5.3.2 Stochastic gradient methods . . . . . . . . . . . . . . . . . . . . . . . . 136
5.3.3 Simulated annealing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
5.4 Stochastic approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
5.4.1 Optimizing Monte Carlo approximations . . . . . . . . . . . . . 146
5.4.2 Missing-data models and demarginalization . . . . . . . . . . . 150
5.4.3 The EM algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
5.4.4 Monte Carlo EM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
5.5 Additional exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
6 Metropolis{Hastings Algorithms : : : : : : : : : : : : : : : : : : : : : : : : : : : 167
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
6.2 A peek at Markov chain theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
6.3 Basic Metropolis{Hastings algorithms . . . . . . . . . . . . . . . . . . . . . . 170
6.3.1 A generic Markov chain Monte Carlo algorithm . . . . . . . 171
6.3.2 The independent Metropolis{Hastings algorithm . . . . . . 175
6.4 A selection of candidates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
Contents xi
6.4.1 Random walks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
6.4.2 Alternative candidates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
6.5 Acceptance rates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
6.6 Additional exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
7 Gibbs Samplers : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 199
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
7.2 The two-stage Gibbs sampler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
7.3 The multistage Gibbs sampler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
7.4 Missing data and latent variables . . . . . . . . . . . . . . . . . . . . . . . . . . 209
7.5 Hierarchical structures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
7.6 Other considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
7.6.1 Reparameterization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
7.6.2 Rao{Blackwellization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
7.6.3 Metropolis within Gibbs and hybrid strategies . . . . . . . . 230
7.6.4 Improper priors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
7.7 Additional exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
8 Monitoring and Adaptation for MCMC Algorithms: : : : : : : : 237
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
8.2 Monitoring what and why . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
8.2.1 Convergence to the stationary distribution . . . . . . . . . . . . 238
8.2.2 Convergence of averages . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
8.2.3 Approximating iid sampling . . . . . . . . . . . . . . . . . . . . . . . . 240
8.2.4 The coda package . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
8.3 Monitoring convergence to stationarity . . . . . . . . . . . . . . . . . . . . . 242
8.3.1 Graphical diagnoses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
8.3.2 Nonparametric tests of stationarity . . . . . . . . . . . . . . . . . . 243
8.3.3 Spectral analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
8.4 Monitoring convergence of averages . . . . . . . . . . . . . . . . . . . . . . . . 250
8.4.1 Graphical diagnoses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
8.4.2 Within and between variances . . . . . . . . . . . . . . . . . . . . . . 253
8.4.3 E ective sample size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
8.4.4 Fixed-width batch means . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
8.5 Adaptive MCMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
8.5.1 Cautions about adaptation . . . . . . . . . . . . . . . . . . . . . . . . . 258
8.5.2 The amcmc package . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
8.6 Additional exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
References : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 269
Index of R Terms : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 275
Index of Subjects : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 279
List of Figures
1.1 Illustrations of the processing of vectors in R. . . . . . . . . . . . . . . . . 8
1.2 Illustrations of the processing of matrices in R. . . . . . . . . . . . . . . . 11
1.3 Illustrations of the factor class. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.4 Chosen features of the list class. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.5 De nition of a data frame. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.6 Loess and natural splines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.7 Autocorrelation and partial autocorrelation plots . . . . . . . . . . . . . 23
1.8 Simple illustration of bootstrap . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.9 Bootstrap linear regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.10 Spline approximation of monthly deaths . . . . . . . . . . . . . . . . . . . . . 29
1.11 Cumsum illustration for an AR(1) . . . . . . . . . . . . . . . . . . . . . . . . . . 30
1.12 Range of Brownian motions with con dence band . . . . . . . . . . . . 32
1.13 Some arti cial loops in R. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.1 Representation of a uniform random sample . . . . . . . . . . . . . . . . . 43
2.2 Representations of an exponential random sample . . . . . . . . . . . . 45
2.3 Representation of a binomial random sample . . . . . . . . . . . . . . . . . 51
2.4 Generation of beta random variables . . . . . . . . . . . . . . . . . . . . . . . . 54
3.1 Evaluation of integrate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.2 Comparison of integrate and area . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.3 One-dimensional Monte Carlo integration . . . . . . . . . . . . . . . . . . . 67
3.4 Importance sampling approximation of a normal tail . . . . . . . . . . 72
3.5 Representation of the posterior ( ; jx) . . . . . . . . . . . . . . . . . . . . 74
3.6 Analysis of a sample from ( ; jx) . . . . . . . . . . . . . . . . . . . . . . . . . 78
3.7 In nite variance importance sampler . . . . . . . . . . . . . . . . . . . . . . . . 80
3.8 Convergence of two estimators of the integral (3.9) . . . . . . . . . . . 84
3.9 Posterior of the regression parameter ( 1; 2) . . . . . . . . . . . . . . . . 86
4.1 Con dence bands for a simple example . . . . . . . . . . . . . . . . . . . . . . 92
4.2 Range and con dence for the Cauchy-normal problem (1) . . . . . 97
xiv List of Figures
4.3 Range and con dence for the Cauchy-Normal problem (2) . . . . . 98
4.4 ESS and perplexity for the Cauchy-Normal problem . . . . . . . . . . 101
4.5 ESS and perplexity for the Cauchy-Normal problem . . . . . . . . . . 104
4.6 Brownian con dence band for the Cauchy-Normal problem . . . . 106
4.7 Convergence of estimators of Efexp(􀀀X2)g . . . . . . . . . . . . . . . . . . 109
4.8 Approximate risks of truncated James{Stein estimators . . . . . . . 114
4.9 Impact of dyadic average . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
4.10 Impact of control variates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
4.11 Impact of control variates in logistic regression . . . . . . . . . . . . . . . 121
5.1 Sequences of MLEs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
5.2 Newton{Raphson sequences for a mixture likelihood . . . . . . . . . . 129
5.3 Simple Monte Carlo maximization . . . . . . . . . . . . . . . . . . . . . . . . . . 132
5.4 Two Cauchy likelihood maximizations . . . . . . . . . . . . . . . . . . . . . . 133
5.5 A Cauchy likelihood approximation . . . . . . . . . . . . . . . . . . . . . . . . . 134
5.6 Representation of the function of Example 5.6 . . . . . . . . . . . . . . . 136
5.7 Stochastic gradient paths . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
5.8 Simulated annealing paths . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
5.9 Simulated annealing sequence with two modes . . . . . . . . . . . . . . . 146
5.10 Simulated annealing sequence for four schedules . . . . . . . . . . . . . . 147
5.11 Monte Carlo approximations of a probit marginal . . . . . . . . . . . . 149
5.12 EM sequences for a normal censored likelihood . . . . . . . . . . . . . . . 155
5.13 Multiple-mode EM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
5.14 MCEM on logit model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
6.1 Metropolis output from a beta target . . . . . . . . . . . . . . . . . . . . . . . 173
6.2 Metropolis simulations from a beta target . . . . . . . . . . . . . . . . . . . 174
6.3 Output of a gamma accept{reject algorithm . . . . . . . . . . . . . . . . . 177
6.4 Metropolis{Hastings schemes for a Cauchy target . . . . . . . . . . . . . 179
6.5 Cumulative coverage for a Cauchy target . . . . . . . . . . . . . . . . . . . . 180
6.6 Fitting the braking data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
6.7 Random walk proposals with di erent scales . . . . . . . . . . . . . . . . . 184
6.8 Scale impact on mixture exploration . . . . . . . . . . . . . . . . . . . . . . . . 185
6.9 Langevin samples for probit posterior . . . . . . . . . . . . . . . . . . . . . . . 187
6.10 Langevin samples for mixture posterior . . . . . . . . . . . . . . . . . . . . . 189
6.11 Cumulative mean plots with di erent scales . . . . . . . . . . . . . . . . . . 193
7.1 Histograms from the Gibbs sampler of Example 7.2 . . . . . . . . . . . 203
7.2 Histograms from the Gibbs sampler of Example 7.3 . . . . . . . . . . . 205
7.3 Histograms from the Gibbs sampler of Example 7.5 . . . . . . . . . . . 208
7.4 Histograms of the posterior distributions from Example 7.6 . . . . 211
7.5 Histograms from the Gibbs sampler of Example 7.7 . . . . . . . . . . . 212
7.6 Histograms from the Gibbs sampler of Example 7.8 . . . . . . . . . . . 214
7.7 Gibbs output for mixture posterior . . . . . . . . . . . . . . . . . . . . . . . . . 217
7.8 Simple slice sampler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
List of Figures xv
7.9 Logistic slice sampler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
7.10 Histograms from the pump failure data of Example 7.12 . . . . . . . 223
7.11 Autocorrelations from a Gibbs sampler . . . . . . . . . . . . . . . . . . . . . . 225
7.12 Autocovariance plots for the Gibbs sampler of model (7.7) . . . . . 226
7.13 Histograms of in Example 7.16 . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
7.14 Histograms from the Gibbs sampler of (7.12) . . . . . . . . . . . . . . . . . 233
8.1 Raw coda output for the random e ect logit model . . . . . . . . . . . 244
8.2 Empirical cdfs for the random e ect logit parameters . . . . . . . . . 244
8.3 Plot of successive Kolmogorov{Smirnov statistics . . . . . . . . . . . . . 246
8.4 Comparison of two MCMC scales for the noisy AR model . . . . . 251
8.5 Multiple MCMC runs for the noisy AR model . . . . . . . . . . . . . . . . 252
8.6 Gelman and Rubin's evaluation for the noisy AR model . . . . . . . 254
8.7 Gelman and Rubin's evaluation for the pump failure model . . . . 255
8.8 Fixed-width batch sampling variance estimation for the pump
failure model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
8.9 Degenerating MCMC adaptation for the pump failure model . . . 261
8.10 Nonconverging non-parametric MCMC adaptation for the
noisy AR model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
8.11 Mode-recovering non-parametric MCMC adaptation for the
noisy AR model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
List of Examples
1.1 Bootstrapping simple linear regression . . . . . . . . . . . . . . . . . . . . . . . . 25
2.1 Exponential variable generation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.2 Transformations of exponentials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
2.3 Normal variable generation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2.4 Discrete random variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
2.5 Poisson random variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.6 Negative binomial random variables as mixtures . . . . . . . . . . . . . . . . 50
2.7 Accept{reject for beta variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
2.8 Continuation of Example 2.7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.1 Precision of integrate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.2 integrate versus area . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.3 Monte Carlo convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.4 Precision of a normal cdf approximation . . . . . . . . . . . . . . . . . . . . . . . 67
3.5 Tail probability approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.6 Beta posterior importance approximation . . . . . . . . . . . . . . . . . . . . . . 71
3.7 Continuation of Example 3.6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
3.8 Importance sampling with in nite variance . . . . . . . . . . . . . . . . . . . . 79
3.9 Selection of the importance sampling function . . . . . . . . . . . . . . . . . . 82
3.10 Probit posterior importance sampling approximation . . . . . . . . . . . . 83
4.1 Monitoring with the CLT. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.2 Cauchy prior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
4.3 Continuation of Example 4.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
4.4 Continuation of Example 4.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
4.5 Continuation of Example 4.4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
4.6 Student's t expectation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4.7 James{Stein estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
4.8 Continuation of Example 4.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
4.9 Cauchy posterior with antithetic variables . . . . . . . . . . . . . . . . . . . . . 115
xviii List of Examples
4.10 Continuation of Example 4.9 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
4.11 Logistic regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.1 Maximizing a Cauchy likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
5.2 Mixture model likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
5.3 A rst Monte Carlo maximization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.4 Continuation of Example 5.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.5 Continuation of Example 5.4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
5.6 Minimization of a complex function . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
5.7 Continuation of Example 5.6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
5.8 Continuation of Example 5.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
5.9 Simulated annealing for a normal mixture . . . . . . . . . . . . . . . . . . . . . 144
5.10 Continuation of Example 5.6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
5.11 Bayesian analysis of a simple probit model . . . . . . . . . . . . . . . . . . . . . 147
5.12 Missing-data mixture model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
5.13 Censored{data likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
5.14 Continuation of Example 5.13 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
5.15 EM for a normal mixture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
5.16 Missing{data multinomial model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
5.17 Random e ect logit model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
6.1 Metropolis{Hastings algorithm for beta variables . . . . . . . . . . . . . . . 172
6.2 Cauchys from normals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
6.3 Metropolis{Hastings for regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
6.4 Normals from uniforms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
6.5 Metropolis{Hastings for mixtures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
6.6 Probit regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
6.7 Continuation of Example 6.5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
6.8 Model selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
6.9 Acceptance rates: normals from double exponentials . . . . . . . . . . . . 192
6.10 Continuation of Example 6.4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
7.1 Normal bivariate Gibbs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
7.2 Generating beta-binomial random variables . . . . . . . . . . . . . . . . . . . . 202
7.3 Fitting a one-way hierarchical model . . . . . . . . . . . . . . . . . . . . . . . . . . 202
7.4 Normal multivariate Gibbs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
7.5 Extension of Example 7.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
7.6 Censored-data Gibbs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
7.7 Grouped multinomial data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
7.8 More grouped multinomial data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
7.9 Gibbs for normal mixtures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
7.10 A rst slice sampler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
7.11 Logistic regression with the slice sampler . . . . . . . . . . . . . . . . . . . . . . 219
7.12 A Poisson hierarchy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
7.13 Correlation in a bivariate normal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
List of Examples xix
7.14 Continuation of Example 7.5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
7.15 Normal bivariate Gibbs revisited . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
7.16 Poisson counts with missing data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
7.17 Metropolis within Gibbs illustration . . . . . . . . . . . . . . . . . . . . . . . . . . 230
7.18 Conditional exponential distributions|-nonconvergence . . . . . . . . . 232
7.19 Improper random e ects posterior . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
8.1 Random e ect logit model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
8.2 Poisson hierarchical model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
8.3 Metropolis{Hastings random walk on AR(1) model . . . . . . . . . . . . . 249
8.4 Continuation of Example 8.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
8.5 Continuation of Example 8.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254
8.6 Continuation of Example 8.5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
8.7 Another approach to Example 8.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
8.8 Continuation of Example 8.4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
8.9 Adaptive MCMC for anova . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
8.10 Continuation of Example 8.7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
8.11 Continuation of Example 8.8 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
下载地址：
Introducing Monte Carlo Methods with R (Use R).rar
(7.44 MB, 下载次数: 6, 售价: 5 )
备注：
很多人都有收集一堆资料而不看的习惯。为了有效利用资源，养成下载一本看一本的习惯，特设置了积分下载，请见谅。
多参加论坛的活动、多帮助别人，会很容易凑够积分的！
祝大家使用愉快！
|
发表于 2013-2-15 16:54:33