| 題名 | 森リンの点数修正 122 |
| 名前 | 森川林 |
| 時刻 | 2006-05-11 07:19:09 |
|
待ちに待った連休は、もちろん仕事でした。いつものように文字どおり朝から晩までひとりで楽しく考え事をしていました。しかし、考えている時間がほとんどだったので、実際に仕事に取り組んだのは３分の１ぐらいでした。
そのうちの一つの仕事が森リンの改良でした。 これまでの森リンの点数には、次のような弱点がありました。 （１)全学年共通の尺度で評価しているので、易しいテーマで書いている小学生よりも、難しいテーマで書いている高校生の方が有利になる。 （２）得点を平均７０点の偏差値として表示しているのでわかりにくい。 （３）説明がこまごまと書いてあるので理解しにくい。 これらの一つ一つを改良していきました。 第一は、易しいテーマと難しいテーマにおける得点の差です。例えば、「私の好きな食べ物」という題名で書けば、どうしても中身は易しい言葉が中心になります。「世界の平和と環境問題」などというテーマで書けば、材料となる言葉の時点で既に考える語彙と難しい語彙が有利になってきます。もちろん、素材語彙という言葉の豊富さに関してはどういうテーマで書いても、表現力のある人は高い点数を上げることができます。しかし、森リンは、いろいろな語彙の点数を総合して得点を出しているので、硬い難しいテーマの方が小論文として有利になるというのは避けられませんでした。 そこで、これまで全学年共通の尺度で評価していたものを、学年別に評価しなおすことにしました。つまり、小学３年生は、小学３年生の中だけで評価し、高校３年生は高校３年生の中だけで評価するというやり方です。その結果、小学生の点数がより現実的になりました。 第二は、偏差値の表示です。偏差値は、一時過度な受験競争の元凶のように言われていましたが、ものごとを確率的に評価するという考え方は現代の社会では必須です。偏差値の生みの親である桑田昭三氏の本を読むと、偏差値がどのような状況で生まれ育っていったかがよくわかります。しかし、中学生や高校生には偏差値の方がピンと来ても、小学生には１００点満点の点数の方が実感としてよくわかります。これまでは小学生の１００点満点の感覚に合わせて、平均７０の偏差値として森リンの点数を表示していました。しかし、そのままではほかの団体などが使うときにかえって利用しにくいように思われたので、もとの５０平均の偏差値として表示することにしました。また、平均５０の偏差値表示とともに、その偏差値が確率密度分布の上で何パーセント目にあたるかということも併せて表示するようにしました。 第三は、説明の簡略化です。これまでの表示は、「○○が3.4から4.5の間にあるので、□□は……です」などという形でした。しかし、これだとかえってその理由などがわかりにくいようでしたので、単純に「□□は……です」という表示にしました。 森リンの特徴は、作文の評価というアナログ的なものに数値を導入したことです。機械の採点ですから、いろいろな事情で誤差が出てきます。しかし、人間の評価との違いは、それらすべての誤差に理論的な裏づけがあるという点です。人間の評価は、その日の気分や前後に読んだ文章の印象によって大きく変わってきます。人間の評価の誤差には理屈の裏づけはありません。 森リンのいちばんいい使い方は、森リンの出した点数を参考にしながら、人間が最終的な評価をするという形です。入試の文章を人間が一つずつ読んで評価をするというのは、レベルの高い文章がある量以上になると人間にはもう不可能です。大学入試や高校入試で小論文の試験を行っているところはかなりありますが、その中のどの１校も採点結果を表示していません。どれだけいい加減に評価しているかがわかると思います。（笑） ところが、ここで森リンを使えば、評価の客観性は飛躍的に高まります。人間が最初から小論文を読むのではなく、まず森リンの点数を参考にして小論文を読みます。森リンの点数が６０点で、人間が読んでも同じように感じられればそのまま６０点です。人間が読んで、森リンの点数よりも高いと感じられれば６０＋α点で、低いと感じられれば６０−α点です。森リンの誤差と人間の誤差が相互に補い合って、より正確な点数がきわめて短時間に出てきます。 森リンはまだ改善するところがかなりあります。その一つは、同じ語彙の中でウェイトを分けることです。例えば、森リンは、「客観的」という言葉にも「恣意的」という言葉にも素材語彙として同じ点数をつけます。しかし、どちらの方が平凡な言葉かと言えば、もちろん「客観的」の方です。作文の中に「客観的」という言葉が入っていれば、大体中学生以上の文章だという見当がつきます。「恣意的」という言葉があれば、高校生以上でかなり本を読んでいる人の文章だと見当がつきます。そういう語彙のウェイト付けをすれば、評価はもっと正確になります。逆に言うと、現在はその点でまだ、森リンの得点を意識的に上げる裏技がかなり使えるということです。 |
|