テキサス州司法長官、臨床genAI企業との訴訟を和解

テキサス州のケン・パクストン司法長官は、ダラスに拠点を置く人工知能開発企業ピーシズ・テクノロジーズとの和解を発表し、同社の生成AIツールが精度を過度に約束することで患者の安全を危険にさらしていたという疑惑を解決した。

なぜそれが重要なのか
テキサス州アーヴィングに本社を置く同社は、生成AIを使用して患者の状態や治療に関する電子医療記録データをリアルタイムで要約している。和解によると、同社のソフトウェアは同州内の少なくとも4つの病院で使用されている。

同社は「重度の幻覚発生率」が10万人に1人未満であると宣伝していた。 和解合意。

ピーシズ社は不正行為や責任を否定し、テキサス州不正取引慣行・消費者保護法に違反していないと主張しているが、司法長官の和解では、同社はその指標の意味や定義を「明確かつ目立つように開示」し、その計算方法を説明するか、さもなければ「独立した第三者監査人を雇って、自社の製品やサービスのパフォーマンスや特徴を評価、測定、実証してもらう」必要があるとしている。

ピースは和解条項を5年間遵守することに同意したが、 ヘルスケアITニュース 金曜日の電子メールで、司法長官の発表は、司法長官が締結した自主的遵守の保証を誤って伝えていると述べた。。

「ピース 「臨床生成AIに対する追加的な監視と規制の必要性を強く支持する」とし、「誠意を持ってこうした議論を進める機会として」合意に署名した。

より大きなトレンド

人工知能、特に genAI が病院や医療システムで広く使用されるようになるにつれ、モデルの精度と透明性に関する課題は、特に臨床現場に導入されるにつれて、より重要になってきています。

マサチューセッツ大学アマースト校とAI幻覚検出に注力するAI企業メンデルの最近の研究によると、AIで要約された医療記録にはさまざまな種類の幻覚が見られるという。 報告 で 臨床試験アリーナ。

研究者らは、Open AI の GPT-4o と Meta の Llama-3 という 2 つの大規模言語モデルに、50 件の詳細な医療メモから医療要約を生成するよう依頼した。その結果、GPT では 21 件の要約に誤った情報があり、50 件の要約に一般化された情報があったのに対し、Llama では 19 件の誤りと 47 件の一般化があったことが判明した。

電子健康記録やその他の医療データから要約を生成するAIツールが普及するにつれ、 信頼性は依然として疑問視されている。

「生成AIの現状は透明性がなく、一貫性がなく、まだ信頼できないと思います」とメイヨー・クリニック・プラットフォームのジョン・ハラムカ社長は語った。 ヘルスケアITニュース 昨年はそうでした。「ですから、ユースケースの選択には少し注意しなければなりません。」

AI をより適切に評価するために、メイヨー クリニック プラットフォームは、アルゴリズムを外部で使用する前に適格性を確認するためのリスク分類システムを開発しました。

このプラットフォームの医療ディレクターであり、メイヨークリニック病院内科の上級アソシエイトコンサルタントであるソニア・マクニ博士は、 AIの安全な利用を考える医療機関は「AIソリューションが臨床結果にどのような影響を与えるか、またアルゴリズムが不正確または偏っていたり、アルゴリズムに基づいて行われたアクションが不正確または偏っていたりした場合にどのような潜在的なリスクがあるかを考慮する必要がある」と述べています。

「ソリューション開発者とエンドユーザーの両方が、能力を最大限に発揮してリスクの観点から AI ソリューションを構築する責任がある」と彼女は述べた。

記録に残る

「高リスクの環境で使用される製品を提供するAI企業は、国民と顧客に対して、自社のリスク、限界、適切な使用について透明性を保つ義務がある」と、テキサス州司法長官ケン・パクストン氏はピーシズ・テクノロジーズとの和解に関する声明で述べた。

「病院やその他の医療機関は、AI製品が適切かどうかを検討し、それに応じて従業員を訓練する必要がある」と同氏は付け加えた。

この記事は、2024 年 9 月 20 日に Pieces Technologies からの声明に基づいて更新されました。

Andrea Fox は Healthcare IT News の上級編集者です。
メールアドレス: メールアドレス
Healthcare IT News は HIMSS Media が発行する出版物です。