OpenAIの汎用音声認識モデルには欠陥があると研究者らは指摘

AP通信 報告されました 最近同社は、米国の多くの医療システムで臨床文書化に使用されている同社の機械学習ツールの1つが人間の知能に影響を及ぼしているという人工知能開発者OpenAIの主張に異議を唱える十数人のソフトウェアエンジニア、開発者、学術研究者にインタビューしたと発表した。精度のような。

なぜ重要なのか

AP通信によると、ミシガン大学などの研究者らは、AIの幻覚によって誤った転写が生じることを発見し、その中には想像上の治療法に加えて、人種的および暴力的なレトリックが含まれる場合もあったという。

懸念されるのは、Whisper を使用するツールが広く普及していることです。 オープンソースまたはAPIとして利用可能 – それは患者の誤った診断や不十分な医療上の意思決定につながる可能性があります。

Hint Health は、臨床テクノロジー ベンダーの 1 つです。 Whisper APIを追加しました これは、医師がベンダーのアプリ内で患者の診察を記録し、OpenAI の大規模な言語モデルを使用してそれを書き写す機能を提供するためでした。

一方、30,000 人を超える臨床医と、ロサンゼルス小児病院などの 40 の医療システムが、Whisper ベースのツールを組み込んだ Nabla のアンビエント AI を使用しています。ナブラ氏は、Whisper が約 700 万件の医療訪問の記録に使用されていると述べた。 報告。

同社の広報担当者は次のように述べた。 ブログ 月曜日に投稿された内容は、モデルが適切に使用され、使用状況が監視されていることを確認するために同社が講じる具体的な手順に言及しています。

「Nablaは、メモへの手動編集と平易な言葉によるフィードバックに基づいて、誤って生成されたコンテンツを検出する」と同社はブログで述べた。 「これにより、現実世界のパフォーマンスを正確に測定でき、長期にわたってモデルを改善するための追加情報が得られます。」

AP通信によると、注目すべきことに、WhisperはOpenAIの主力チャットボットChatGPTの一部のバージョンにも統合されており、OracleとMicrosoftのクラウドコンピューティングプラットフォームに組み込まれている製品だという。

一方、OpenAIは、このツールを「高リスク領域」で使用すべきではないとユーザーに警告し、オンライン開示の中で「精度の欠陥が結果の顕著な欠陥につながる可能性がある意思決定の場面」でWhisperを使用しないよう推奨している。

「次のモデルでは、大量の幻覚を生成するラージ v3 の問題が改善されるでしょうか?」と、あるユーザーが質問しました。 OpenAI の GitHub Whisper ディスカッション ボード 火曜日に。記事執筆時点では回答がなかった質問。

今年初めにOpenAIを退職したサンフランシスコ拠点の研究エンジニア、ウィリアム・サンダース氏はAP通信に対し、「会社がそれを優先する気があるのなら、これは解決できるようだ」と語った。それを実行し、他のすべてのシステムに統合することができます。」

注目すべきことに、OpenAI は最近、 求人 健康 AI 研究科学者の場合、その主な責任は「モデルの安全性と信頼性を向上させるための実践的でスケーラブルな方法を設計および適用する」ことと、「健康関連データを使用して方法を評価し、モデルが正確で信頼性の高い情報を提供できるようにすること」です。 」

より大きなトレンド

9月、テキサス州司法長官ケン・パクストンは、ダラスに本拠を置く人工知能開発者ピース・テクノロジーズとの和解を発表した。 同社の生成AIツールが患者の安全を危険にさらしたという主張 正確さを過度に約束することによって。その企業は genAI を使用して、患者の状態と治療に関するリアルタイムの電子医療記録データを要約しています。

そして、 勉強 マサチューセッツ大学アマースト校と AI 幻覚検出に焦点を当てた AI 企業メンデルが医療ノート作成における LLM の精度を調べたところ、多くのエラーが見つかりました。

研究者らが Open AI の GPT-4o と Meta の Llama-3 を比較したところ、50 件の医療ノートのうち、GPT には誤った情報が含まれる要約が 21 件、一般化された情報が含まれる要約が 50 件あったのに対し、Llama には 19 件の誤りと 47 件の一般化があったことが判明しました。

記録上

OpenAIの広報担当者は「われわれはこの問題を真剣に受け止めており、幻覚の軽減などモデルの精度向上に継続的に取り組んでいる」と語った。 ヘルスケアITニュース 火曜日にメールで。

「当社の API プラットフォームでの Whisper の使用については、当社の使用ポリシーにより、特定のリスクの高い意思決定の状況での使用が禁止されており、オープンソースの使用に関するモデルカードには、リスクの高いドメインでの使用に対する推奨事項が含まれています。研究結果を共有してくれた研究者に感謝します。」 。」

Andrea Fox は、Healthcare IT News の上級編集者です。
電子メール: [email protected]
Healthcare IT News は HIMSS Media の出版物です。