2012年05月08日

記述式問題の自動採点はまだ実用レベルではない

昨日、記述式問題の自動採点についてのニュースがずいぶん流れていたのでやってみたのですが、残念ながらまだまだ実用レベルにはほど遠いようです。

昨日発表されたサービスはこれ。どなたも無料で試すことができます。
http://kijyutu.combine.co.jp/

僕が回答してみた問題は以下のとおり。
問題

 次の年表を参考にして,明治時代の内閣総理大臣を山口県や鹿児島県出身者が長く務めた理由を書きなさい。

1863年 長州藩が外国船を砲撃した
1866年 薩摩藩と長州藩が同盟を結んだ
1867年 徳川慶喜が政権を朝廷に返した
1868年 新政府と旧幕府軍の戦争が始まった

これに対して以下のように回答してみました。もちろん、部分的にわざと間違ったことも書いています。
薩摩藩は今の山口県である。長州藩は今の鹿児島県である。薩摩藩と長州藩が同盟したという事実はないが、倒幕の中心だったので、その立役者が江戸時代の後、新しい政権で重要な仕事をするようになった。

そして、得られた採点結果が以下のとおりです。
採点結果

得点=20点/100点

判定結果

以下はあなたの解答です。
薩摩藩は今の山口県である。長州藩は今の鹿児島県である。薩摩藩と長州藩が同盟したという事実はないが、倒幕の中心だったので、その立役者が江戸時代の後、新しい政権で重要な仕事をするようになった。

薩摩藩と長州藩が同盟を結んだ ( - 20点 )
⇒ 薩摩藩と長州藩が同盟を結んでいたことに触れておきたい。

旧幕府軍と新政府軍が戦った ( - 20点 )
⇒ 旧幕府軍と新政府軍が戦ったことに触れておく必要がある。

薩摩藩と長州藩は新政府軍の中心となって旧幕府軍と戦った ( - 20点 )
⇒ 薩摩藩と長州藩が新政府軍の中心だったことに触れておきたい。

薩摩藩と長州藩は明治新政府の中心になった ( - 20点 )
⇒ どの時代の新政府の特徴を説明するかを明確にしたい。

薩摩藩は鹿児島県,長州藩は山口県にあった藩 ( 20点 )
⇒ 薩摩藩・長州藩は鹿児島県・山口県にあったことを書いている。

最初の「薩摩藩と長州藩が同盟を結んでいたことに触れておきたい。 」という指摘は正しいですね。
でも、その後の2点は「薩摩藩と長州藩が倒幕の中心だった」という僕の回答が理解されなかったようです。

4番目の「どの時代の新政府の特徴を説明するかを明確にしたい。 」という指摘も「江戸時代の後、新しい政権で」と書いているですから明治政府であることは自明のはずですが、部分点もついていません。

逆に、最後の「 薩摩藩・長州藩は鹿児島県・山口県にあったことを書いている。」というのは、僕が唯一「正解」した部分なのですが、実は「薩摩藩は今の山口県である。長州藩は今の鹿児島県である。」と、わざと逆に書いているのです。普通、正解にはなりませんよね。

ということで、評価基準が5つあったようですが、それぞれ見てみると、自動採点で正しく評価できたのは最初の「薩摩藩と長州藩が同盟を結んでいたことに触れておきたい」という指摘だけでした。記述式問題の自動採点については僕はまったく関わったことがないので、もしかしたらこのレベルでもすごい進化なのかもしれませんが、教育の現場で必要とされるレベルにはまったく届いていないというのが現状ではないかと思います。

ただ、これをやりながらふと思ったんですが、こういう「内容」に関する自動採点はまだまだでも、もしかしたら単純に「日本語が正しいか」だけを自動採点するソフトなら、もう誰かが作っていてもおかしくないかもしれません。「一太郎」なんかにも間違いを自動で指摘してくれる機能なんかがありますよね。
posted by 村上吉文 at 14:16 | Comment(0) | TrackBack(0) | 日記 | このエントリーをはてなブックマークに追加
この記事へのコメント
コメントを書く
お名前: [必須入力]

メールアドレス:

ホームページアドレス:

コメント: [必須入力]

※ブログオーナーが承認したコメントのみ表示されます。

この記事へのトラックバック