Microsoft の小規模な言語モデルは、標準化された数学テストで大規模なモデルよりも優れた成績を収めました

Microsoft の小規模な AI 研究者チームは、同社の Orca-Math 小規模言語モデルが、標準化された数学テストで他の大規模なモデルよりも優れていると報告しています。 同グループは、 紙 で arXiv プレプリント サーバーでは、Grade School Math 8K (GSM8K) ベンチマークでの Orca-Math のテストと、よく知られている LLM と比較した結果がどのように行われたかを説明しています。

ChatGPT などの人気のある LLM の多くは、その優れた会話スキルで知られていますが、ほとんどの LLM が数学の文章問題も解けることはあまり知られていません。 AI 研究者らは、解決するために多段階の推論を必要とする 8,500 件の小学生の数学の文章問題とその正解のデータセットである GSM8K と対戦させることで、そのようなタスクにおける能力をテストしました。

この新しい研究では、マイクロソフトの研究チームは、マイクロソフトの別のチームが開発した数学の文章問題に取り組むために特別に設計された AI アプリケーションである Orca-Math をテストし、その結果をより大規模な AI モデルと比較しました。

マイクロソフトは次のように指摘しています。 研究ブログ投稿 ChatGPT と Orca-Math などの一般的な LLM の間には大きな違いがあることを示しています。 前者は大規模な言語モデルで、後者は小規模な言語モデルです。違いは使用されるパラメーターの数です。 通常、LLM で使用される数十億または数兆ではなく、SLM の場合は数千または数百万です。 もう 1 つの違いは、その名前が示すように、Orca-Math は問題を解決するために特別に設計されていることです。 数学 問題。 したがって、会話を続けたり、ランダムな質問に答えたりするために使用することはできません。

Orca-Math は他の SLM に比べて比較的大規模であり、パラメーターは 70 億個ありますが、それでもほとんどのよく知られた LLM よりははるかに小さいです。 ただし、GSM8k では 86.81% のスコアを獲得し、GPT-4-0613 の 97.0% に近づきました。 Llama-2 などの他のアプリは、スコアが 14.6% と低く、それほどうまくいきませんでした。

Microsoft は、一般的な LLM で利用できるものよりも高品質のトレーニング データを使用したことと、Microsoft の AI チームが開発してきた対話型学習プロセス (結果を継続的に改善するプロセス) を使用したため、このような高いスコアを獲得できたことを明らかにしています。教師からのフィードバックを活用することで。 Microsoft チームは、特殊な条件下で開発された場合、特定のアプリケーションでは SLM が LLM と同様に機能できると結論付けています。

© 2024 サイエンス X ネットワーク
お問い合わせ・広告・著作権・不具合に関するご連絡は [email protected] までメールでお願いします。