Integrated Writingにもe-raterが採用されているようです

前回の投稿の続きとしてReadingセクションにおけるTOEFL iBT 4th Editionの変更点を書くつもりだったのですが、先に書いておきたいことができたので、予定を変更します。

前回の投稿

TOEFL iBT OG 4th Editionでの変更点詳細 その1（2012年9月8日）

ではTOEFL iBT概要においての変更点を紹介しましたが、実は前回触れていなかったポイントがありました。

p. 22 About Test ScoresのWritingにおいて

The responses are rated by two certified raters and the automated scoring system on a scale of 0 to 5 acccoding to the rubrics …

という記述があるのですが、これは以前の3rd Editionでは

The responses are rated by 2 to 4 certified raters on a score scale of 0 to 5 according to the Rubrics …

と”2 to 4 certified raters”という表記になっていました。

この表現の変更から、Writingの採点官の数が2-4人から2人になったと分かります。

では、2-4人 → 2人 という人数の変更が何を意味するのか？

3rd Editionが発売された2009年6月当時、Writingの採点はすべて人間の採点官が行なっていました。
Integrated Writing、Independent Writingそれぞれに対しての2人ずつ、計4人の採点官が必要になりますが、採点官が2人の場合、その2人がある方のIntegrated、Independentのエッセイ両方を見ることになります。

その後、2009年7月から、Indepdent Writingの片方の採点をe-raterという自動採点プログラムが行なっているということが分かりました。
この場合、Writingの人間の採点官は2-3人と、最大3人になります。

しかし、今回のOG 4th Editionでの ”The responses are rated by two certified raters”という表記から、IndependentだけではなくIntegratedにおいてもe-raterが採用されたために、Integrated、Independent両方に対して、人間の採点官はそれぞれ1人で十分になったとのではと推測しました。
（Integratedは人間の採点官（2人）、Independentは自動採点プログラムe-rater（2人）という組み合わせはありえません。e-raterがあるエッセイに対して2回採点した場合、2回とも必ず同じスコアになってしまうから、2回（2人）行う必要はなくなるので。）

そこで調べてみると

ETS TOEFL Home > Scores > The Way the Test is Scored

には

The TOEFL test uses automated scoring to complement human scoring for the two tasks in the Writing section. Combining human judgment for content and meaning, and automated scoring for linguistic features, ensures consistent, quality scores.

とWritingセクションの「2つ」のタスクに対して、自動採点プログラムを使うと明記されていました。

また更に調べると、

TOEFLのリサーチレポート

Use of e-rater® in Scoring of the TOEFL iBT® Writing Test

には

Beginning late in 2010, both in the case of the independent task and in the case of the integrated task, e-rater and a human rater have typically been employed to score the response. (p. 1)

という表記がありました。

また私の元同僚である、アゴス・ジャパンの松園さんがIntegrated Writingへのe-raterの採用について書いていらっしゃったことが分かりました。

AGOS JAPAN 留学情報関連ニュース：  [Writing] スコアについて（2011年6月24日）

実は2010年の末にIntegrated Writingへe-raterが採用されていたことに気づいていなかったということは、お恥ずかしい限りですが、Integrated Writingにおいては、e-raterが採用されていても、採用されていなくても、取るべき戦略は変わらないので、まったく心配はいりません。

ただ、e-raterは内容よりは、主に表現の難易度や多様さ、正確さ、またエッセイの構成や語数等からスコアを判断するので、Integrated Writingにおいて、同じ表現を繰り返すことは避けたほうがいいかもしれません。