医療システムが支援するテクノロジー企業は、テキサス州司法長官と合意に達し、「少なくともテキサス州の4つの主要病院」が使用した生成AI製品の精度が主張ほどではなかったという疑惑を解決した。
ダラスに拠点を置く Pieces Technologies の技術は、多分野にわたるケア チーム向けの電子医療記録内に AI 生成の臨床概要と文書を作成するものです。同社は最近、複数の医療システムの顧客向けに 540 万件を超える入院患者の臨床概要を作成したと発表しました。
ピーシズ・テクノロジーズは、顧客にアピールするため、自社のAI生成製品が非常に正確であることを示唆するいくつかの指標やベンチマークを宣伝したと、ケン・パクストン司法長官の事務所は水曜日に公表した自主的遵守の保証書に記した。これらのうち鍵となるのは、製品の重大な幻覚発生率は0.001%未満、重篤な幻覚発生率は10万人に1人未満という主張だった。
しかし、テキサス州司法長官事務所は、実施した調査により「これらの指標は不正確である可能性があり、同社の製品の正確性と安全性について病院を欺いた可能性があることが判明した」と主張した。
同社の発表では、AIツールに依存している病院は、要約を作成するために患者のデータをリアルタイムで同社に提供しており、正確性に関する虚偽の主張は「公共の利益を危険にさらしている」とも指摘されている。
パクストン氏の事務所が共有した合意によれば、ピーシズ・テクノロジーズはいかなる不正行為も否定し、テキサス州の消費者保護法に違反しておらず、幻覚率を不正確に表示したこともないと主張している。
「高リスクの環境で使用される製品を提供するAI企業は、国民と顧客に対して、そのリスク、限界、適切な使用について透明性を保つ義務がある。それが欠けているものは無責任であり、テキサス州民の安全を不必要に危険にさらすことになる」とパクストン氏は和解を発表するリリースで述べた。「病院やその他のヘルスケア機関は、AI製品が適切かどうかを検討し、それに応じて従業員を訓練する必要がある」
ピース・テクノロジーズは声明で、司法長官事務所のプレスリリースは「誤解を招く」ものであり、当事者の自主的な遵守の確約と「完全に矛盾している」と述べた。同社は、自社製品の安全性と正確性は正しく伝えられていると改めて主張し、これまで業界全体で欠けている生成AI幻覚のリスク分類システムの開発に注力してきたと述べた。
「ピーシーズは、臨床生成AIに対する追加の監視と規制の必要性を強く支持しており、同社はこれに署名した。 [assurance of voluntary compliance] テキサス州との対話を誠意を持って進める機会として [Office of Attorney General]」と声明で述べた。
「テキサス州議会におけるこの合意の残念で有害な誤解にもかかわらず、 [Office of Attorney General]のプレスリリースによると、Pieces は、コミュニティ全体で高品質で安全な医療の提供を推進するという共通の取り組みを共有する組織と、州レベルと国レベルの両方で協力し続けます。」
同社とパクストン氏の事務所との契約の発表は、同社が2,500万ドルの成長資金調達ラウンドを発表してから約1週間後のことだ。注目すべきは、医療システムのチルドレンズ・ヘルスとOSFヘルスケアが、この資金調達に主要に参加していたことだ。
「このような刺激的な転換点において、大手医療システムや大手ヘルスケア投資家から支援を受けることができて光栄です」と当時、最高経営責任者（CEO）のルーベン・アマラシンガム医学博士は語った。
ピーシズ・テクノロジーズの代表者はフィアース・ヘルスケアに対し、「この件を含め、ステークホルダーに対して透明性を保ってきたし、今後もそうするだろう」と語った。 [assurance of voluntary compliance]」
#テキサス州司法長官とヘルスケアAI企業が不正確な主張の申し立てを和解