(この記事はプロモーションを含みます。)
最近、AIが予備試験短答式の問題を予想して(カテゴリー)的中率が60%を超えた科目もあったということがちょっとした話題になりました。
これについて世間(Twitterなど)の反応に照らしながら、勝手に思ったことを書いていきたいと思います。
なお予備試験の論文試験でもAIによる出題予想がされるみたいなので、気になる方は後述で紹介してますので該当部分を読んでいただければ幸いです。
※AIの予備試験論文式予想の詳細については下記の記事を用意していますので、そちらも併せて読んでいただけると幸いです。
Contents
AIによる司法試験や予備試験は結局は過去問分析ということ
まず今回のAIによる予備試験の短答式の問題予想は資格スクエアという新興の法律予備校が行なった企画です。
簡単にいうと、AIに予備試験の過去問データを分析させて、2019年の予備試験短答式に出題される問題や傾向を予想させるというもの(通称、未来問)でした。
詳しくは下記の記事を参考にしてください。
実際に未来問の予想問題提供に申し込んだ方は感じたことだと思いますが、AIが問題を予想すると言っても、過去問からいくつかピックアップして問題を作成したような感じでした。
もちろん、司法試験や予備試験では過去問と同じ問題(選択肢)が使い回されることもよくありますし、過去出題されたものが形を変えて出題されることもあります。
そういう意味では、過去問を分析して予想するというのも割と合理的ですし、実際短答試験対策としては多くの人が『短答過去問パーフェクト』や『肢別本』などの過去問に基づいて作成された問題集を使います。
ただ、やはりAIの分析も過去問を研究していて出題を予想するものなので、結局は受験生がやることとそこまで大きくは変わらないのかなぁということも思います。
もちろん、AIの方が大量にデータを分析しているし、正確性も高いのかもしれませんが。
AIの過去問予想は自分の力試しとしては使える
前述の通り、今回の「未来問」ですが、AIに過去問を分析させて予備試験の出題を予想させるという発想自体はすごく面白いと思ったのですが、今のところは過去問を用いた予想問題という感じでした。
これからどれくらい進化するのかは分かりませんが、今の段階だと予想問題としてすごく使えるとまでは言えないかもしれません
ただ、司法試験や予備試験での過去問の重要性は誰もが認めるところだと思いますので、そういう意味では、自分の力試しとして模試のような使い方はできるのではないかと思います。
今回の的中率はあくまでカテゴリー的中率にすぎない
さて、今回のAIの予想がどれほど的中したかというところですが、95問中57問予想的中で約60%の的中率ということです。
ただ、注意したいところはこの的中率はあくまでカテゴリー的中率にすぎないということです。
つまり、問題の内容(選択肢など)がドンピシャで的中した数値ではないということです。
「各予備校の全国模試なんかの短答試験でも同じくらいの数字になるんじゃないの?」という目にしましたが(Twitterです)、確かにその可能性はありうるとは思いますね。
でも短答模試と本番の短答試験の的中率に関してはデータがない(誰か確認していたら教えて欲しいです)ので、これはなんとも言えないところですね。
まぁまだ最初の試みなのでこれから的中率や精度が上がることも考えられますし、そこは来年(もやるなら)に期待です。
AIが司法試験や予備試験の試験問題を完全に予想するのは難しい
個人的には、AIが司法試験や予備試験の試験問題(短答式も論文式も)を完全に予想するのはやはり難しいのではないかと思います。
司法試験の問題も過去問をそのまま出しているわけではないですし、もしAIの精度が上がったとしてもできる限り予想されないように作られると思います。
実際、今回も試験終了後からTwitter等で話題になりましたが、刑法の短答問題でちょっとマイナーな判例の選択肢が現れたり、学説問題が増えたりしました。
AIが必死に予想しても、問題傾向を変えたり過去問では出題が全くされてない問題を出題したりすることは十分考えられるので、結局はAIが予想できる範囲もそれなりの部分に限られるでしょう。
AIが試験問題を予測すると問題の傾向が変わるのでは??という疑問に対して
今回、AIの予想が的中率60%を超えた、という報道の中にはちょっと出題者を煽る内容(AIに追い付かれない試験問題を作ってほしい旨)と捉えられかねない発言をしています。
もちろん、出題者を煽っているとかではないと思いますが、出題者的にはこれを聞くとひねった問題を出したくなりそうですよね。
また、これとともに「AIが試験問題を予測すると問題の傾向が変わるのでは??」という疑問があるように、やはりAIが予想するとなったらなるべく予想の範囲外の問題を出そうとするのではないでしょうか。
受験生にとっては迷惑極まりないという感じですが、まぁAIに東大の試験を解かせる試みがあったように、AIに出題を予想させることも時間の問題で誰かがやることだったとは思います。
なのでこの点は仕方のないことかなぁという感じです。
AIの予想ではないですが、各予備校の短答・論文模試や出題予想講義なども基本的には試験予想という点では共通していますし、AIであれ予備校であれ予想的中を避けようとするのは出題者としては当然の動きだと思います。
いずれにせよ、これからは問題傾向が変化したりひねった問題を出題したりということは当然のようにあり得ることだと思いますので、しっかり学習・理解して地力を付けるのが大切ですね。
AIによる問題予想は論文試験でも実施される
最後になりますが、今回資格スクエアによって実施されたのが「AIによる予備試験短答式の出題予想」でした。
なんと、今年の予備試験「論文式」試験についても出題予想が実施されるようです。
論文式の予想は(当然ですが)カテゴリごとの出題予測をするということです。
2019年の予備試験を受験した方であればどなたでも受講できるようなので、気になる方は確認してみるのをお勧めします。
講座の内容としては、未来問(論文編)に加えて、法律実務基礎講座:全講義(約20時間)と過去問演習講座(未来問に基づきピックアップ問題についての解説(約3時間))がセットになっています。
これで講座価格が500円なのですから、正直かなりお得だとは思います。
未来問を信じるかどうかは自分次第というところですが、法律実務基礎講座と過去問演習講座がセットで付いていて500円なのは非常にお得ですね。
本年度の予備試験を受験した方はぜひチェックしてみてください。
資格スクエアによる、予備試験論文式問題の出題予想講義について、さらに詳しい内容は下記の記事でまとめていますのでご興味のある方はぜひ読んでいただけると幸いです。