病院における費用対効果の高い LLM の使用: 研究

11 月 18 日に掲載された研究結果によると、大規模な言語モデルは 50 の同時タスクを完了でき、コストを 17 倍削減できますが、追加のタスクがあるとパフォーマンスの低下を引き起こすとのことです。 自然。

ニューヨーク市マウントサイナイのアイカーン医科大学の研究者ら 実施した 主著者の Eyal Klang 医学博士によると、LLM のストレス テストには 300,000 件以上の実験が行われています。 Klang 博士は、Icahn Mount Sinai の生成 AI 研究プログラムのディレクターです。

この研究では、2023 年にマウント サイナイ ヘルス システムで遭遇した 1,942,216 人の患者すべてからのデータが使用されました。研究者らは、Meta の Llama-3–70b や OpenAI の GPT-4-turbo-128k を含む 10 個の LLM を評価し、この EHR からの需要の増大に対してそれぞれがどのように機能したかを評価しました。データ。

これら 2 つの LLM は、精度を大幅に低下させることなく、医薬品の安全性のレビューや研究コホートの構築など、50 の臨床タスクのグループ化を処理できます。他のモデルでは必要なタスクが少なくなることが研究で判明した。

「起こり得る障害を調整した後、連結戦略は GPT-4-turbo-128k を使用した 50 のタスクで約 17 倍のコスト削減を達成しました」と著者らは結論として述べています。 「50 タスクあたり 0.24 ドルの価格差は限定的であるように思えるかもしれませんが、医療システムの規模では大幅な節約に相当します。」