トロント大学のグループによると、市販の AI 検索エンジンは最新の ChatGPT モデルのパフォーマンスを向上させ、放射線科委員会形式の質問でテストしたところ、この技術にさらなる「飛躍」をもたらしたという。
Rajesh Bhayana 医学博士率いるチームは、Canadian Royal College と American Board of Radiology の試験のスタイル、内容、難易度に一致する 150 の多肢選択テキストベースの質問について、ChatGPT Turbo を使用して Perplexity Pro をテストしました。モデルは質問の 90% に正解しました。
「私たちの調査結果は、最適化されたソリューションの強力な可能性を示しています。 [retrieval-augmented generation] 放射線医学におけるシステム」とグループは書いている。この研究は10月8日に出版されました。 放射線科。
RAG は、ChatGPT Turbo のような大規模言語モデル (LLM) の応答を追加の高品質情報に基づいて確立できる最適化手法です。一緒に使用すると、GPT Turbo が応答を生成し、Perplexity が関連情報を取得してそれらの応答を強化します。
RAGを使用して放射線科におけるLLM幻覚を軽減すれば、報告中に放射線科医の質問に正確に答える放射線科の副操縦士など、影響力のあるアプリケーションがさらに可能になる可能性がある、とグループは仮説を立てた。
これらの機能をテストするために、研究者らは、同じ 150 個の多肢選択テキストベースの放射線学の質問について、Perplexity Pro with GPT-4 Turbo と ChatGPT-4 のパフォーマンスを比較しました。パフォーマンスは全体的に、質問の種類ごと、トピックごとに評価され、マクネマー テストを使用して比較されました。
調査結果によると、Perplexity with ChatGPT Turbo は質問の 90% (150 個中 135 個) に正解し、79% (150 個中 118 個) のスコアを獲得した ChatGPT-4 を大幅に上回りました。さらに分析したところ、ChatGPT Turbo を使用した Perplexity は低次の質問の 92% (61 件中 56 件)、高次の質問の 89% (89 件中 79 件)に回答し、ChatGPT-4 はこれらのサブセットの両方で 79% のスコアを獲得したことが示されました。
「Perplexity の最適化された Web ベースの RAG により、画像を使用しない放射線科委員会スタイルの検査のパフォーマンスがさらに飛躍的に向上しました」とグループは書いています。
Perplexity は放射線医学に特化したものではありませんが、Web からの信頼できるソースを優先し、LLM を使用して応答を作成する際にこれらのソースからの検索を最適化します。最高品質の放射線学リソースを強化した放射線学固有のシステムは、LLM 幻覚をさらに軽減し、放射線学ユースケースのパフォーマンスを向上させる可能性があると著者らは書いています。
しかし、委員会形式の検査成績は臨床的有用性に直接結びつかない、と彼らは指摘した。
「さらなる改善の可能性は、高品質の放射線科特有のデータとマルチモーダルな応用を用いて検討されるべきである」とグループは結論付けた。
研究の全文はこちらからご覧いただけます ここ。
#ChatGPT #Turbo #が最適化され放射線医学委員会スタイルの試験に合格