合成データがAI開発の成功に極めて重要である理由

人工知能は、すべての業界で組織を変革するように設定されていますが、高品質のデータへのアクセスは、成功に対する重要な障壁の1つです。

データはデジタル時代の主要な燃料でしたが、今日のAIを搭載した世界では、エンジンのようなものであり、インテリジェンスを促進しています。ボリュームが最大、最高品質、最もユニークなデータを持つ組織は、より強力で正確なAIアプリケーションを作成できるようになります。

ただし、現実世界のデータは、規制の順守を維持しながら、効果的に取得、管理、および利用することがますます困難になっています。合成データを入力します。これは、企業がAIテクノロジーを開発および実装する方法を変換する強力なソリューションです。この人為的に生成された情報は、特にデータへのアクセスが制限されている、またはプライバシー、規制、またはコストの障壁に苦しんでいる組織にとって、AI開発の名もなきヒーローになりつつあります。

合成データとは何ですか？

合成データとは、人為的に作成されたデータを指します。これは、実際のデータの近似であり、真の属性に基づいてその特性を複製しますが、結果を歪めたり、個人的に特定できるものはすべて除外します。

実際のデータの特性を正確に反映し、構造化（人工データベーステーブル、クライアントレコード）、非構造化（テキスト、画像、ビデオ）、または合成ユーザーなど、さまざまな形式があります。

今日のデータ障害

多くの組織にとって、AIアプリケーションを利用するための経路には、データ関連の課題が散らばっています。

• プライバシーと規制上の問題 – データのプライバシーに関するGDPRと一般的な感度により、AIモデル開発のための多くの形式のデータを保持し、使用することが困難になります。
• データの希少性と品質の問題 – AIアプリケーションには、膨大な量のデータや専門産業において、またはまれなイベントの場合、利用可能なデータがない場合があります。
• コストと実現可能性の障壁 – 現実世界のデータの収集、並べ替え、タグ付けは、高価で時間がかかる可能性があり、AIプロジェクトを遅らせる可能性があります。
• 固有のバイアス – 意図しないバイアスは、多くの場合、現実世界のデータに見られることがあります。これは、それが現れる場合、評判やその他の結果に影響を与える可能性があります。

合成データがどのように役立つか

合成データの利点について疑問に思うかもしれません。ここにほんの数があります。

プライバシーの課題を克服します

合成データは、既存の現実世界データに基づいて生成できますが、個人情報や個人情報は使用できません。統計的またはその他の一般的な属性を維持することにより、現実世界のデータと同じように行動できますが、制限的な法的ハードルと倫理的ジレンマを克服します。これは、データ保護要件が高い規制業界で特に役立ちます。合成データは本質的に匿名であるため、倫理的および機密性の制約の対象ではありません。

ヘルスケアでは、患者データはHIPAAやGDPRなどの法律の下で厳しく規制されているため、研究、AIモデル開発、または臨床意思決定支援に現実世界のデータセットを使用することが困難です。病院や研究機関は、ソリューションとして合成データに目を向けています。統計的に正確でありながら、完全に人工的な患者記録を作成し、個人情報を公開せずに現実世界の臨床シナリオを反映しています。たとえば、MDCLONEなどの組織は、健康システムと協力して、元の患者データに見られるパターンと関係を維持しながら、再識別のリスクを完全に排除する合成データセットを生成します。

このアプローチにより、ヘルスケアチームはAIモデル開発を加速し、臨床ワークフローをテストし、機密データを共有する法的および倫理的なハードルに直面することなく、外部パートナーと協力することができます。研究者は、実際の患者集団のように振る舞う合成データセットを使用して、疾患の進行の予測や治療計画の最適化などの複雑な質問を探ることができます。その結果、これらの組織は、データプライバシー規制への厳格なコンプライアンスを維持しながら、より速く革新することができます。

データの不均衡に対処します

専門的な業界やまれなイベントでは、合成データがこれらのギャップを補うことができるため、十分な実際のデータが利用可能ではない場合があります。これは、特定のグループからの過小評価、異常なイベントを模倣したり、良いデータを持っているほど頻繁に起こる可能性が低いテストシナリオを作成するなどのシナリオをカバーできます。現実世界のデータには、不公平または不正確な結果につながる固有の属性を持つことが多く、経済的危害と評判の損害を引き起こす可能性があります。合成データを作成して、不足をバランスさせ、より代表的なデータセットを提供できます。

たとえば、自動運転車を保証するタスクは、厄介な運転状況で適切に対応することを考えてみましょう。すべての気象条件についてAIモデルに完全に通知するために、実世界のデータが手元に不足している可能性があります。たとえば、一部の場所では、あらゆる場所がまれに発生した場合、モデルトレーニングのために十分なライブイベントをキャプチャしたり、関連する履歴データを見つけたりすることは困難かもしれません。このシナリオでは、落下するひらめきのシミュレートされた画像の形の合成データを使用して、まれに生じるかもしれないが生命にかかわる結果につながる可能性のある多くの状況を模倣することができます。

同様に、車の経路に突然現れる人やオブジェクトの画像は、すべての角度、さまざまな側、車の上と下からでも、すべての角度からテストされ、すべての不測の事態がカバーされるようにすることができます。このレベルのトレーニングがなければ、モデルは潜在的に危険な状況を認識していない可能性があり、事故が起こり、命が危険にさらされます。

費用対効果

多くの組織にとって、現実世界のデータを取得することは、非常に高価になる可能性があります。 AIトレーニングのデータを収集、並べ替え、タグ付けするプロセスは、多くの場合、時間がかかり、複雑で、リソースが集中しています。対照的に、合成データは、費用対効果の高い予測可能な代替品を提供します。予算が限られている企業の場合、大規模なデータ収集と準備の前払いが削除され、コストが大幅に削減されます。結果は、AIソリューションのテストと展開へのより合理化されたパスです。

たとえば、JP Morganは、機密性の高い顧客トランザクションレコードに依存せずに、詐欺検出モデルの開発を改善するために合成データの使用を調査しました。通常、実際の財務データへのアクセスと使用には、通常、費用のかかる匿名化、コンプライアンスチェック、法的レビューが必要です。プロジェクトの減速とコストの削減が必要です。実際のトランザクションパターンを複製する合成データセットを生成することにより、JP Morganは高価なデータ準備の必要性を減らし、規制のハードルを最小限に抑え、AIプロジェクトをより速く、より安全で、より費用対効果の高いものにしました。

合成駆動のAIはここにとどまります

AIの可能性を活用しようとする組織にとって、合成データは、開発を遅くする多くの障壁を克服するための極めて重要なソリューションを表しています。プライバシーとコンプライアンスの課題に対処し、重要なデータギャップを埋め、コストを削減し、モデルのトレーニングと検証を加速させながら、バイアスを排除するのに役立ちます。

市場の勢いは明らかです。 Gartnerは、2024年までにAI開発に使用されるデータの60％が合成であり、合成データが2030年までにAIモデルトレーニングの支配的なリソースとして実際のデータを追い越す可能性が高いことを示唆していると予測しました。

多くの組織にとって、このシフトは大きな機会を提供します。合成データを早期に採用する人は、堅牢なAI機能を開発し、より速いイノベーションを提供し、ますます規制されている環境に準拠し続けるために、より良い位置になります。合成データは実際のデータを完全に置き換えませんが、重要なツールになります。これにより、企業は速度、スケール、および低コストでAIの可能性を解き放つことができます。

Geoff Barlowは製品および戦略ディレクターです node4。

続きを読む

実行ギャップの橋渡し – なぜAIが企業戦略の新しいフロンティアであるか – MarkkuMäkeläinenは、人工知能があなたの企業戦略と組織の将来にとって重要である理由を議論します