AutoPrompt は、より的を絞ったプロンプトで臨床データ分析における ChatGPT を改善することを目指しています: E-HEALTH-COM

臨床研究には大量のデータとテキストが含まれます。 ChatGPT などの言語モデルは、医師や臨床スタッフが自然言語を使用して的を絞った方法で情報を取得するのに役立ちます。しかし、AI ボットは論理的なつながりをどの程度分析して、正しい結論を導き出すことができるのでしょうか?ここで AutoPrompt 研究プロジェクトが登場します。推論時のシステムのエラーや幻覚に対抗したいと考えています。これを行うために、研究者たちは、大規模な言語モデルの機能と人間の対話を組み合わせたシステムを開発しています。目的は、医療のコンテキストにおける自然言語の理解と推論における ChatGPT のパフォーマンスを向上させることです。

医療分野では、大量の非構造化データまたは半構造化データを自動的に処理できる機能により、言語モデルの注目が高まっています。 「それらの出現により、データベースとしての自然言語推論などのタスクに対するその機能を理解することへの関心が高まっています」と、DFKI ニーダーザクセン州のインタラクティブ機械学習研究分野で AutoPrompt プロジェクトを推進している科学者の Siting Liang 氏は述べています。リャン氏によると、自然言語推論 (NLI) とは、「前提または一連の事実を考慮して、ステートメントが正しい結論を表しているのか、それとも矛盾を表しているのか」を判断することです。 AutoPrompt プロジェクトは 2024 年 1 月から 12 月まで実施され、世界有数のコンサルティング、テクノロジー、アウトソーシング企業の 1 つである Accenture からの助成金によって資金提供されています。

Siting Liang 氏は、例を挙げて彼女のアプローチを説明します。出発点は、出血リスクの増加など、特定の前提条件が当てはまる場合、血友病（出血性疾患）患者は研究から除外されるという主張です。 「このタスクでは、モデルが主張の内容を理解し、科学論文から関連する証拠を抽出し、主張の真実性を推測するために主張と証拠の間の適合性を評価する必要があります」と彼女は説明します。

最適化を促す

最初のステップでは、計算言語学者はプロンプト、つまり特定の回答を受け取るためのチャットボットへの指示を最適化したいと考えています。この目的のために、彼女は思考連鎖法などのさまざまな戦略を研究しています。指示は、特定のパスに従い、思考の連鎖を引き起こす中間ステップで与えられます。これは、ボットからある程度の議論能力を引き出すことを目的としています。 「ChatGPT は文脈から関連する文を認識できるかもしれませんが、正確な論理的推論を行うには、ドメイン知識と自然な書き言葉についてのより深い理解が必要です」と Liang 氏は言います。

2 番目のステップでは、さまざまなデータセットを使用して NLI タスクにおける ChatGPT のパフォーマンスを評価し、改善を提案します。 「私たちの目標は、よりドメイン固有のソースをコンテキストとして言語モデルに提供することです」と科学者は言います。この目的を達成するには、追加の知識へのより効率的なアクセスを可能にする、最適なプロンプト戦略と生成フレームワークを実装する必要があります。

医学生と一緒に学ぶ

AI と人間のコラボレーション、つまりシステムと人々 (この場合は医学生) とのコラボレーションが、このプロジェクトで重要な役割を果たします。この目的のために、Siting Liang 氏はプロジェクト内で研究を立ち上げ、現在約 10 名の参加者を募集しています。確かに、悪性脳腫瘍と診断された患者は、化学療法などの基準が適用される場合には一次研究から除外される。医師志望者は 2 つのグループに分けられ、その中で 2 時間を費やして知識を提供し、請求と基準の関係について決定を下します。グループ 1 は AI システムによって与えられた決定を評価し、グループ 2 はシステム内のエラーを修正します。

「AI システムを改善したい場合は、人間からのフィードバックが必要です」と、この研究分野の以前のプロジェクトですでに医療データに取り組んでいる Siting Liang 氏は言います。リャン氏は、システムが通常、医学文書やデータを非常にうまく分析できることを知っています。「しかし、システムが幻覚を起こし、誤った結論をもたらす可能性もあります。 AutoPrompt は、応答の精度を高めることを目的としています。

出典: DFKI