AI は教授と同じくらい法科大学院の試験を採点できる – Artificial Lawyer

AI時代でも法教育は変わらないのか？これが、先駆的な新しい AI パフォーマンス研究が提起する重要な疑問です。この研究では、AI モデルが人間の教授とほぼ同じ精度でロースクールの試験を採点できることが判明しました。チームの主な発見は、「採点ルーブリックが提供されると、 [AI] 人間の採点者を厳密に追跡し、最大 0.93 分の相関を持つスコアを生成しました。

この研究は次のように結論付けています。「私たちの分析によると、LLM は 法学教授の等級を大まかに見積もる能力最良の結果は、詳細なルーブリックを組み込んだプロンプトから得られます。」

ダニエル・シュワルツとミネソタ大学の教授であり、研究を行った学者グループの一員はこう語った。 人造弁護士: 「法教育と弁護士にとっての影響は大きいと思います。

「たとえ AI が人間の採点に取って代わることはないとしても、これらのツールはすでに、模擬試験、中間試験、メモの下書き、および学生が審査を受けるのに苦労するその他の法的文章の演習について有意義なフィードバックを提供できるようになっています。若い従業員にとっても、同じテクニックが、パートナーのデスクに届く前に書面による擁護を洗練するための新しい方法を示しています。」

次に、Artificial Lawyer は、ほとんどの学生が学習を支援するためにすでに AI を使用していることを受け入れるかどうかを尋ねました。法教育コーパスの多くはデジタルで発見できること。そして、AI が論文や試験を採点できるということ…では、法学教授は必要なのでしょうか、少なくとも現在の私たちのやり方では必要でしょうか?

実際、次のような究極の質問に進むこともできます。 法科大学院は必要ですか、 少なくとも、生徒の予測不可能な将来のために莫大な料金を請求する実店舗はあるでしょうか？ この研究は、新しい種類の法科大学院の経験を示しているのではないでしょうか？

シュヴァルツ 「私の答えはイエスです。法学教授は必要です。なぜなら、多くの学生が人間からの直接指導から最もよく学ぶのは依然として事実だからです。」また、法科大学院試験の採点を AI に完全に委託できる段階にはまだ達していないと思います。 AI が試験の採点において人間と同じくらい信頼できるかどうかはまだわかっていません。そして私たちの実験でも、人間の法律の教授に試験と採点のルーブリックを書かせました。

「したがって、少なくとも現時点では、法学教授がやるべきことはまだたくさんあります。しかし、AI は学生が自分の仕事の質を追跡し、改善のためのカスタマイズされたヒントを得る機会をより多く提供することで、法科大学院教育を確実に改善することができます。」

彼らが実験をどのように行ったかについては、非常に複雑な形式ですが、簡単に言うと、論文を採点するために AI が従うための方法論、つまりルーブリックを設計しました。それから彼らは戻って、人間の法律教授が行うことと比較して自分たちがどのように行うかを確認しました。

そして、この論文の序文と結論は次のとおりです。

「この論文は、法科大学院の試験で一般的に行われる種類の法的分析問題に対する学生の反応を評価する際に、LLM がどのように機能するかを分析した結果を示しています。基礎となるデータは、米国のトップ 30 のロースクールで実施される 4 科目の試験から得られたものです。コンピューターやデータ サイエンスの一部のプロジェクトとは異なり、私たちの目標は、エラーを最小限に抑えたり、人間の採点者との合意を最大限に高めたりする新しい LLM を設計することではありません。むしろ、ほとんどの教授や学生が直接適用できる既存のモデルが、法律試験の評価タスクにすでに適しているかどうかを判断しようとしています。詳細なルーブリックが提供されている場合、LLM の成績は最大 0.93 のピアソン相関係数で人間の採点者と相関していることがわかります。私たちの調査結果は、近い将来、LLMが人間に完全に取って代わるわけではないとしても、教授の採点の見直しと検証、採点されていない中間試験に対する実質的なフィードバックの提供、自己管理の模擬試験に対する学生へのフィードバックの提供など、法科大学院の教授による貴重な任務をすぐに課せられる可能性があることを示唆している。」

そして結論もこうです。

‘私たちの分析によると、LLM は法学教授の採点にほぼ近い能力を備えており、詳細なルーブリックを組み込んだプロンプトから最良の結果が得られることが示唆されています。 ここ数年で LLM のテキスト分析タスクは急速に改善されており、おそらく近い将来も継続的な改善が期待できるでしょう。将来の分析では、さまざまな科目のさまざまな試験を含め、人間と機械の間でさらに大きな一致が得られる可能性があります。 LLM が進化するにつれて、この研究に対する定期的な更新が必要になります。

LLM が人間の採点者の成績にますます近づいているにもかかわらず、法学教授の採点に代わるには物流的、制度的、政治的な課題が存在することを私たちは認識しています。たとえば、一部の法科大学院では、教授（たとえばティーチング・アシスタントではなく）が個人的に試験を採点し、成績を付けることを求める長年の規則がある。機械採点による試験がそのような規則に従うかどうかは不明だ。しかし、たとえ変更するとしても、あるいは規則が変更されるとしても、他の政治勢力や経路への依存により、当面は法科大学院が人間の採点者をLLMに置き換えることができない可能性がある。

それでも、私たちの調査結果は、自動化された法的分析スコアリングが、非常に近い将来、他の価値のあるグレーディングタスクに効果的に使用される可能性があることを示唆しています。。たとえば、教授は LLM を自分の採点の補足として使用し、自分の評価を見直して間違いや偏りを検出することができます。さらに、学生は LLM と講師が提供するルーブリックを使用して模擬試験のフィードバックを受け取ることができ、それによって法科大学院の 1 年生のすべてのクラスで形成的評価を提供するための負担となる ABA 要件を満たす可能性があります。」

—

ALからの最終的な考え

前述したように、法教育は、経験の大部分が AI で支援できる新しい世界に入りつつあります。そうであれば、現在存在する法科大学院は必要なのか、と言う人もいるでしょう。

特に法科大学院は、その高額な授業料と、教育と教材、そして現在では採点が AI の助けを借りて、よりデジタル化された方法で運営できるという現実を考慮すると、時代とともに変化する必要があるのでしょうか?つまり、これは法科大学院が学生に AI ツールの使用方法を教えるということではなく、むしろ法科大学院独自のビジネス教育モデルを破壊するということです。

どうもありがとうございました シュワルツ教授 と興味深い研究に協力してくれた同僚たち。

PS 明らかに、AI のパフォーマンスは今後さらに向上する可能性が高くなります…。