コンピュータ適応型テスト(CAT)
コンピュータ適応型テスト(Computer-Adaptive Testing, CAT)は、
項目応答理論(IRT)を基盤としたテスト形式です。受験者の能力を динамично かつ正確に測定することを目的としています。
CATの仕組み
CATでは、事前に難易度などのパラメータが付与された問題項目(アイテム)をアイテムプールに格納します。受験者がテストを受ける際、その回答パターンに応じて、システムが適切な難易度のアイテムを選んで出題します。正答率が高い受験者には難しい問題が、正答率が低い受験者には易しい問題が提示されるため、個々の受験者にとって最適なテスト体験が提供されます。
項目応答理論により、受験者ごとに異なる問題が出題されても、能力推定値(得点)の信頼性が保証されます。
CATでは、
項目応答理論に基づいてアイテムのパラメータが設定されます。一般的に、以下のモデルが用いられます。
1PLモデル(ラッシュモデル): 困難度パラメータのみを使用
2PLモデル: 困難度パラメータと識別力パラメータを使用
3PLモデル: 困難度パラメータ、識別力パラメータ、当て推量パラメータを使用
大規模なテストでは3PLモデルが採用されることがありますが、プレテストの制約などから1PLモデルや2PLモデルが選択されることもあります。
プレテスト
プレテストは、IRTに基づいて各アイテムのパラメータを推定するために実施されます。必要な受験者数はモデルによって異なり、1PLモデルでは100~200人以上、2PLモデルでは200~400人以上、3PLモデルでは1000~2000人以上が目安とされます。プレテストの結果はアイテムの質の評価にも用いられ、不適切なアイテムは除外されます。
アイテムプールとセキュリティ
パラメータが付与されたアイテムは、アイテムプール(アイテムバンク)に蓄積されます。アイテムプールの漏洩はテストの信頼性を損なうため、厳重なセキュリティ対策が不可欠です。
暴露制御
CATではアイテムが繰り返し使用されますが、特定のアイテムの使用頻度が高くなるのを防ぐため、暴露制御(エクスポージャ・コントロール)が行われます。また、使用回数が一定数を超えたアイテムはアイテムプールから除外されます。
適応型の仕組み
適応型の仕組みは、視力検査を例にすると理解しやすくなります。視力検査では、ランドルト環の隙間の大きさによって視力が測定されます。ランドルト環の大きさが項目困難度に相当し、検査官は被験者の回答(見える/見えない)に応じて、異なる大きさの環を提示します。CATも同様に、受験者の回答に応じて難易度の異なる問題を出題します。
スコア
項目応答理論における項目困難度(bパラメータ)と能力推定値(θ)は、理論上は±無限大の値を取り得ますが、実際には-3.0から+3.0程度の値を取ることが一般的です。能力推定値は、解釈しやすいように線形変換され、得点として表示されます。
CATとCBT
CATと類似した用語にCBT(Computer Based Test)がありますが、CBTはコンピュータ上で実施されるテスト全般を指し、必ずしも適応型である必要はありません。
CATの主なテスト
TOEFL-CBT(廃止)
CASEC
SPI2
J-CAT
GMAT
関連項目
Computer Based Testing
項目応答理論
*
TOEFL