医療自己診断用ChatGPTの欠陥が研究で判明

毎日、ChatGPT 会話エージェントの 4,000 万人の定期ユーザーが健康に関する質問をしています。 発行元のOpenAIは1月にこう述べた。。しかし、病状を自己診断するツールを信頼できるでしょうか?オックスフォード大学のインテリジェント システム評価の研究者であるアンドリュー M. ビーンが実施した科学的研究は、おそらくそうではないと述べています。 2月9日に掲載されました 自然医学 タイトルは「一般大衆の医療助手としてのLLMの信頼性」。

研究者らは 3 人の医師の協力を得て 10 の病理シナリオを構築し、約 1,300 人の参加者からなる英国国民の代表サンプルに伝えました。彼らは、これらの症状に苦しんでいるかのように ChatGPT をクエリするように依頼されました。これらの架空の患者は、チャットボットと好きなだけやり取りをした後、正しい診断に達したのは症例の約 37% のみでした。

人工知能 (AI) を使用せずに、使い慣れたオンライン検索方法を使用した場合、この数字は 45% を超えました。ほとんど 「検索エンジンを使用しました」、 研究を特定し、 「またはNHSなどの信頼できるサイトを直接参照してください。」 (イギリスの公衆衛生制度である国民保健サービス)。逆に、この研究によると、AIは、架空の患者を介さずに、医師が作成した臨床症状のリストが直接AIに提出された場合にのみ、正しい診断に近づいたという。このようなケースでは、チャットボットは ChatGPT のケースの約 95% で病気を推測しました。テストされた他の AI のパフォーマンスはほぼ同じで、Meta の LLama 3 では 99%、Cohere の Command R+ では 91% でした。

プロトコルの小さな弱点

つまり、弱点は人間だったのだ。どうやって説明すればいいでしょうか？研究の著者らは、多くの参加者が利用可能なすべての情報をチャットボットに提供していないと主張している。そして、チャットボットがいくつかの病気を提案したとき、彼らは必ずしも正しいものを選択するとは限りませんでした。研究者らはさらに、参加者が閉鎖的な方法で AI に疑問を抱く傾向があると指摘しています。たとえば、次のとおりです。 「これはストレスと関係があるのでしょうか？」 これにより、AI の応答範囲が制限される傾向があります。

この記事の残り 33.78% を読むことができます。残りは購読者向けに予約されています。