AI を説明可能にして信頼ギャップを埋める: Forrester が関与

人工知能はあらゆる規模の産業や企業に侵入してきましたが、これらのツールが強力かつ不安定である理由の背景は、依然としてやや不明瞭です。

AI システムがその出力に到達する方法と理由を理解することについて、Forrester 氏は次のように説明しています。 新しいレポート、説明可能な AI と呼ばれる重要な透明性メカニズムです。 そしてこれは、企業がすべての利害関係者にわたる AI システムの信頼ギャップを最小限に抑えるための鍵となります。

より高いレベルの AI 成熟度に達し、予測力を高めるためにニューラル ネットワークなどの不透明な手法を活用し始めた企業は、説明可能性の課題を最も懸念しているとレポートは説明しています。

これらのニューラル ネットワークは、テキスト、画像、ビデオを大規模に分析する唯一の方法であるため、非構造化データを含むユースケースを持つ業界は説明可能性への投資を増やす傾向にあります。 同時に、これらの企業はさらに多くの規制にさらされることになります。

しかし、生成型 AI を活用した自然言語インタラクションの爆発的な増加により、最終的にはすべての企業が説明可能性への投資が必要になるとレポートは指摘しています。

規制遵守は 1 つの要素ですが、説明可能性は、企業が AI アルゴリズムのビジネス価値を引き出すのにも役立ちます。 たとえば、信用判断のようなユースケースでは、説明可能性によって将来の信用リスク モデルを知ることができます。 顧客のインサイトは、ビジネス価値を高めるために企業が注目しているもう 1 つの重要な要素です。

さらに、説明可能性は、AI システムを使用して日常業務を実行する従業員の間の信頼を高めることができます。 従業員がシステムがどのように結果を生み出すかについて少なくとも最低限の理解を持っていない場合、AI の導入は大幅に困難になります。 実際、Forrester の 2023 年のデータと分析に関する調査では、データと分析の意思決定者の 25% が、AI システムに対する信頼の欠如が AI を使用する際の大きな懸念事項であると述べています。

説明可能性を備えてこれらの結果を達成するために、研究者は次のような解釈可能性テクニックを開発しました。 シャープ そして ライム、オープンソースであり、データ サイエンティストによって広く使用されています。 多くの大規模な機械学習プラットフォーム ベンダーも、既存のモデル開発機能に加えて説明可能な AI 機能を提供しています。 これらのベンダーは、モデルの解釈可能性、バイアス検出、モデル系統など、他の責任ある AI のニーズにも対応します。

しかし、説明可能性が必要となるのはデータサイエンティストだけではありません。 AI ガバナンス チームには、企業による AI の使用を監督する責任ある AI 評価を提供するモデル インテリジェンス プラットフォームが必要です。

ビジネス ユーザーは、これらのモデル インテリジェンス プラットフォームを使用したり、特に信用度の判定や雇用などの高リスクまたは高度に規制されたユースケースに対して、説明可能な AI 技術を備えた機械学習エンジンを使用したりすることもできます。

Forrester は、説明可能性を求める企業に対し、次のことを行うことを推奨しています。

1. さまざまな AI のユースケースを検討し、それに応じてリスクを分類し、各層の説明可能性の要件を定義します。 たとえば、企業は、AI システムを許容できないリスク、高リスク、中リスク、低リスクの 4 つのカテゴリーに分類する EU の AI 法を参考にしています。 その結果、たとえば、高リスクのユースケースでは完全な透明性が必要となる場合がありますが、中程度のリスクのユースケースでは解釈可能性で十分である可能性があります。
2. AI ベンダーには説明可能性を要求し、脆弱性や欠陥に対して責任を負わされる可能性があるため、ブラック ボックスに注意してください。
3. 説明可能性が個々のモデルを超えて、システム全体がどのように機能するか、つまりすべての部分の相互運用性をカバーしていることを確認し、モデルのパフォーマンスだけでなくビジネスの成果と顧客満足度を測定して、システムが期待どおりに機能していることを確認します。

Forrester レポートの全文は購入可能です ここ。