靜哲人(2020). VELC Test (R) 2012-19年度実施データの分析と総括.「語学教育研究論叢」第37号, 75-89. (大東文化大学語学教育研究所)
Abstract
The VELC Test®, a 120-item proficiency test developed specifically for L1 Japanese learners of English at tertiary level, has been administered across the nation for the past eight years. This paper analyzes and summarizes the accumulated data in terms of score distribution, item difficulty invariance, item discrimination, and person reliability/separation. Based on the results, it is argued that the test is reliable enough and well-targeted for the intended population of Japanese university students; its practically invariant and uniformly discriminating items separate an applicant group of any given university into at least three and sometimes four ability levels.
Key words: 英語熟達度テスト VELC Test® 信頼性 項目安定性 受験者分離
--
5. まとめ
本研究はVELC Test®の本実施データが８年分蓄積したタイミングで改めてテストの性能や特性を確認するため、複数年度データに基づいて、（１）受験者スコアの分布状況、（２）項目難度の安定性、（３）項目のラッシュモデルへの適合度、（４）信頼性と受験者分離度、を調べたものである。
受験者スコアの分布については、試行段階のサンプルに基づいて設定した「全体平均が500で標準偏差が100」という開発時の想定からはややずれており、本実施の受験者は平均が475〜485程度、標準偏差が70〜80程度で分布していることが明らかになった。これは開発時には最上位クラスも含めて全国からより幅広い層の受験者の協力を得たことによると考えられる。想定した数値とのズレは、この程度のものであれば、本テストに関して特段の問題を提起するものではない。分布形状についてはおおむね正規分布に近く、ターゲットとしている受験層にたいして適正な難度のテストであると確認されたからである。
項目難度については、固定（anchor）を外した状態で別々の集団によって改めて推定した２セットの項目難度の相関係数はr = .980〜.981と高く、実用上十分な安定性、準不変性が確保されていることが示された。
ラッシュモデルへの適合度については、Infit Mean Squareの値が確認したすべての項目について適正な範囲に収まっており、いずれの項目も測定のために重要な役割を果たしていることが明らかになった。すでにトライアル段階でのべ5,000名を超える受験者のデータにもとづいて取捨選択された項目であったが、本実施されているデータでも改めて項目の適正さが示されたことは価値がある。
信頼性および受験者分離については、複数大学を合わせた大きな集団(N = 1,000)と、個別大学の比較的小さな集団(N = 149〜319)で検証した。大きな集団で見たときには信頼性は .93ほどで、全体の受験者を５ないし６つの統計的に異なるレベルに分離していることがわかった。個別大学で見たときには、信頼性は .86〜.92ほどで、当該大学の受験者を４ないし５つの異なるレベルに分離していることがわかった。個別大学については、実際に受験しているなかで最も熟達度の低いレベルの大学（TOEIC® L&R平均 340程度）でも、最も高いレベルの大学（同 620 程度）でも、天井効果や床効果は見られず、おおよそ４階層と、学内のプレイスメントを考えたときには実用上十分な程度の受験者分離に成功していることが確認できた。
以上全体として、VELC Test®は日本の大学で学ぶ学習者の英語熟達度を測定するツールとして有効的に機能していることが改めて確認できたと言える。
