マーク式テスト?批判の常套句に「1点刻みで云々」というのがある。これを聞くたび読むたびに私は思うのだ。は? 「1点」がいやなら、5点刻みならいいですか? 10点刻みにすれば満足ですか?いっそのこと50点刻みにする?
TOEIC(R) L&Rは 990が最高で5点刻みなので、おおよそ200段階である。実際のスコア分布はもうすこし段階が少ないかもしれない。いずれにせよあれは素点ではなくIRTで変換されたスコアなので、200点満点で1点刻みのテスト、と本質的には変わらない。しかし「5点刻みで云々」という批判は寡聞にして聞いたことがない。
1点刻みがどうのこうの、ということをいう素人さんは、1点刻みという表面的な表現が気になるらしい。ではその点数を5倍して5点刻みにすれば意味が変わると思っているのだろうか。
表面的な刻みが1点だろうが5点だろうが10点だろうがA1とかC2とかの記号だろうが、そんなことはどうでもいいのである。ポイントは、評価のスケールを何段階にしているかということだ。10段階の評価尺度は対象となる構成概念(たとえば英語力)を10段階のレベルに分けられるという前提/信念に基づき、20段階スケールは20段階に識別できるという自信の現れであり、100段階スケールは100段階の能力層を判別できる、という哲学の反映なのである。
算用数字で表された評価だと駄目だが、それをS/A/B/C/Dとか C2/C1/B2 /B1/A2/A1とかの記号にすると安心できる、というのはナンセンス。
刻みを荒くすれば、ひとつのバンド(レベル・層)の中におおくの受験者が含まれるからその受験者たちに関する測定誤差は問題にならないというか、吸収されるかたちになるが、ひとつのバンドともうひとつ上のバンドのボーダーラインの上下にいる受験者たちは測定誤差によって、あるときは下のバンドに分類され、あるときは上のバンドに分類される。
本当はもっとたくさん弁別可能な英語力レベルの分類が雑になり、かつやはり分類ミスは起こるのである。
まとめ:「何点刻み」はどうでもよい。「何段階なのか」が大切。