FRANK B. BAKER
THE BASICS OF ITEM RESPONSE THEORY
Introduction
CHAPTER 1
The Item Characteristic Curve . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Computer Session for Chapter 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
Procedures for an Example Case . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
Things To Notice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
CHAPTER 2
Item Characteristic Curve Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
The Logistic Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
Computational Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
The Rash, or One-Parameter, Logistic Model . . . . . . . . . . . . . . . . . 25
Computational Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
The Three-Parameter Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
Computational Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
Negative Discrimination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
Guidelines for Interpreting Item Parameter Values . . . . . . . . . . . . 33
Computer Session for Chapter 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
Procedures for an Example Case . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
Things To Notice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
CHAPTER 3
Estimating Item Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
The Group Invariance of Item Parameters . . . . . . . . . . . . . . . . . . . 51
Computer Session for Chapter 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
Procedures for an Example of Fitting an
Item Characteristic Curve to Response Data . . . . . . . . . . . . . . 56
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
Procedures for an Example Case
Illustrating Group Invariance . . . . . . . . . . . . . . . . . . . . . . . . . . 58
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
Things To Notice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
CHAPTER 4
The Test Characteristic Curve . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
Item 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
Item 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
Item 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
Item 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
Computer Session for Chapter 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
Procedures for an Example Case . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
Things To Notice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
CHAPTER 5
Estimating an Examinee’s Ability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
Ability Estimation Procedures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
Item Invariance of an Examinee’s Ability Estimate . . . . . . . . . . . . 90
Computer Session for Chapter 5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
Procedure for Investigating the
Sampling Variability of Estimated Ability . . . . . . . . . . . . . . . . . 93
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
Procedures for Investigating the
Item Invariance of an Examinee’s Ability . . . . . . . . . . . . . . . . . 98
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
Things To Notice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
CHAPTER 6
The Information Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
Item Information Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
Test Information Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
Definition of Item Information . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
Computing a Test Information Function . . . . . . . . . . . . . . . . . . . . 115
Interpreting the Test Information Function . . . . . . . . . . . . . . . . . 117
Computer Session for Chapter 6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
Procedures for an Example Case . . . . . . . . . . . . . . . . . . . . . . . . . . 118
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
Things To Notice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
CHAPTER 7
Test Calibration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
The Test Calibration Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
The Metric Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
Test Calibration Under the Rasch Model . . . . . . . . . . . . . . . . . . . . 135
Summary of the Test Calibration Process . . . . . . . . . . . . . . . . . . . 141
Computer Session for Chapter 7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
Procedures for the test calibration session . . . . . . . . . . . . . . . . . . . 143
Things To Notice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
Putting the Three Tests on a
Common Ability Scale (Test Equating) . . . . . . . . . . . . . . . . . . 150
Easy Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
Hard Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
CHAPTER 8
Specifying the Characteristics of a Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
Developing a Test From a Precalibrated Item Pool . . . . . . . . . . . 157
Some Typical Testing Goals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
Computer Session for Chapter 8 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
Some Ground Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
Procedures for an Example Case . . . . . . . . . . . . . . . . . . . . . . . . . . 159
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
Things To Notice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
Selected Resources on Item Response Theory . . . . . . . . . . . . . . . . . . . . . . 170
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174