JACET 2020で研究発表を予定していたのですが、本日大会がキャンセルとなり、お蔵入りとなった発表のアブストラクトです。何らかの形で論文として公刊したいと思っていますが、とりあえずこちらに掲載します。
VELC Test (R)スコアで形式変更後のTOEIC (R) L&R Testスコアを予測する --式をアップデートする必要があるか--
Using VELC Test (R) Scores to Predict New TOEIC (R) L&R Test Scores: Do We Need to Update Our Prediction Formula?
Abstract
VELC Test (R)は、日本語母語話者大学生対象の英語熟達度テストであり、2012年度より主にプレイスメントや授業効果の測定などに利用されてきている。同様の用途でより広く利用されているのがTOEIC (R) L&R Testである。VELC TestはTOEIC L&Rと設計思想も問題形式も異なるが、ユーザー側の希望もあり、スコアレポート中の参考情報のひとつとしてTOEIC L&R予測スコアを提供してきた。これは2012年に両方のテストを受験した375名のデータの重回帰分析に基づく、重相関 が r = .82, 決定係数がr^2 = .68の回帰式によるものである。その後2016年にTOEIC L&Rの問題形式と項目数バランスが変更された。実施団体はこの変更によるテストの難易度の変化はなかったとするが、別の印象を抱いた受験者もいたようである。またVELC Testのユーザーからは、TOEIC 側の変更で予測スコアの精度が影響されたのではないか、という質問が寄せられることがある。そこで今回あらたに、現在のTOEIC L&RのデータによってVELCによる従来の予測式の精度を検証し、必要であれば予測式の修正を検討することとした。この研究目的を理解し同意書を提出した３つの大学の学生（N = 92）にVELC Testを受験してもらい、かつ直近のTOEIC L&Rスコアの提供を受けた。まず従来の式で算出した予測スコアと実際のTOEICスコアの相関係数を確認したところ、リスニング、リーディング、トータルで、r = .75, .81, .83であり、決定係数は r^2 = .56, .65, .69 であった。すなわち相関係数と決定係数の点では2016年以前のTOEICも以後のTOEICも、VELCテストによって同程度の精度をもって予測できていることが確認された。ただし残差を分析すると、予測スコアが実際のスコアよりもわずかながら（リスニング、リーディング、トータルで2.7, 16.25, 18.91ポイント）高い傾向があると判明し、またスコアのレベルによって残差のサイズがわずかに影響を受けている傾向も見られた。しかし本当に予測式を修正する必要があるかどうかの決定には、さらにデータを集めてみる必要があろう。Tetsuhito Shizuka is currently a professor of English at Daito Bunka University. His research interests include language testing, pronunciation teaching, and teacher training.
