研究者に抵抗するAIのブラックボックス |テクノロジー

ニューラル ネットワークが実行されると、最も専門的な研究者でも何が起こっているのかわかりません。そして、私たちは生物学について話しているのではなく、深層学習に基づいた人工知能アルゴリズムについて話しているのです。このアルゴリズムは、ニューロン間の接続を模倣するため、そう呼ばれています。この種のシステムは、データ サイエンティスト、学界の最も聡明な頭脳、OpenAI や Google のエンジニアにとって解読不能なブラック ボックスを維持しています。 彼らはノーベル賞を受賞したばかりです。

これらのアルゴリズムの基礎となる数学はよく理解されています。しかし、ネットワークによって生成される動作はそうではありません。 「どのようなデータがモデルに入力され、その出力、つまり結果または予測が何であるかはわかっていますが、この出力がどのようにして得られたのかを明確に説明することはできません」と、AI 研究者の Verónica Bolón Canedo 氏は述べています。 情報通信技術研究センター ア・コルーニャ大学出身。

これは、ChatGPT、Google Gemini、Claude (スタートアップ Anthropic のモデル)、Llama (Meta のモデル)、または Dall-E のような画像ジェネレーターで発生します。ただし、ニューラル ネットワーク、顔認識アプリケーション、コンテンツ推奨エンジンに基づくシステムでも同様です。

医学や経済学で使用される決定木や線形回帰などの他の人工知能アルゴリズムも解読可能です。 「彼らの意思決定プロセスは簡単に解釈して視覚化できます。木の枝をたどれば、特定の結果にどのように到達したかを正確に知ることができます」とボロン氏は言います。

これはプロセスに透明性をもたらし、アルゴリズムを使用する人に保証を提供するため重要です。 EU AI 規制が透明性と説明可能なシステムの必要性を主張しているのは無駄ではありません。そしてこれは、ニューラル ネットワークのアーキテクチャ自体が妨げるものです。これらのアルゴリズムのブラック ボックスを理解するには、相互に接続されたニューロンまたはノードのネットワークを視覚化する必要があります。

「ネットワーク上にデータを置くということは、計算を始めるということです。ノード内の値を使用して計算をトリガーします」と、大学の研究教授であるフアン・アントニオは言います。 CSIC人工知能研究所。情報は最初のノードに入り、そこから拡散し、数字の形で他のノードに伝わり、さらに次のノードに情報が跳ね返されます。 「各ノードは数値を計算し、各接続の重み (数値) を考慮してすべての接続に送信します。そして、それを受信した新しいノードは別の数値を計算します」と研究者は付け加えました。

のモデルは次のことを考慮する必要があります。 ディープラーニング （深層学習）今日では、数千または数百万のパラメータがあります。これらは、トレーニング後にネットワークが持つノードと接続の数、つまりクエリの結果に影響を与える可能性のあるすべての値を示します。 「ディープ ニューラル ネットワークには、増殖して結合する要素が多数あります。これを何百万もの要素で想像する必要があります。そこから意味のある方程式を導き出すことは不可能です」とボロンは断言する。変動性は非常に高いです。

いくつかの 業界情報源 GPT-4 には約 1 兆 8,000 億のパラメーターがあると推定されています。この論文によると、言語ごとに約 220,000 万個のパラメータが使用されることになります。これは、アルゴリズムに何か質問されるたびに、アルゴリズムの応答に影響を与える可能性のある変数が 220,000,000,000 個存在することを意味します。

偏見やその他の問題を探しています

これらのシステムは不透明であるため、そのバイアスを修正することはさらに困難です。そして透明性の欠如は、特に医療や司法などのデリケートな分野でそれらを使用する際に不信感を生み出します。 「ネットワークの動作を理解していれば、ネットワークを分析して、エラーや問題が発生するかどうかを予測できます。それは安全上の問題です」とロドリゲス・アギラール氏は警告する。 「いつうまくいくのか、そしてなぜうまくいくのか知りたいのです。そしてそれがうまくいかないときとその理由。」

AI の有名企業はこの欠如を認識しており、独自のモデルがどのように機能するかをより深く理解しようとする取り組みに取り組んでいます。 OpenAI のアプローチ これは、ニューラル ネットワークを使用して別のニューラル ネットワークのメカニズムを観察し、それを理解することから構成されます。人間的、もう一つ 起動する リーダーであり、その創設者は前の会社から来ています。 つながりを研究する ノードと情報が伝播するときに生成される回路との間に形成される。どちらも、ネットワークの動作を分析するために、アクティブ化パターンや接続など、ノードよりも小さい要素を探します。彼らは仕事をエスカレートさせるつもりで最小限の作業をしますが、それは簡単ではありません。 「OpenAI と Anthropic はどちらも、はるかに小規模なネットワークを説明しようとしています。 GPT-4 ネットワークは大きすぎるため、OpenAI は GPT-2 ニューロンを理解しようとしています。もっと小さなことから始めなければなりません」とロドリゲス・アギラールは明言します。

このブラックボックスを解読できればメリットが得られるでしょう。現在最も人気のあるアルゴリズムである言語モデルでは、誤った推論が回避され、有名な幻覚も制限されるでしょう。 「解決できる可能性がある問題は、システムが一貫性のない答えを返すことが多いということです。現在、それは非常に経験的な方法で機能します。ネットワークを解釈する方法がわからないため、可能な限り徹底的なトレーニングが行われ、トレーニングがうまく機能してテストに合格すると、製品が発売されます」と Rodríguez Aguilar 氏は説明します。しかし、最初に画像を生成した Google Gemini の発売で明らかになったように、このプロセスは必ずしもうまくいくわけではありません アジア人の特徴を持つナチスまたは黒人のバイキング。

アルゴリズムがどのように機能するかに関するこの情報のギャップは、立法上の目標とも一致します。 「欧州AI規制 特に高リスクのアプリケーションにおいて、AI システムがどのように機能するかについて、開発者が明確でわかりやすい説明を提供することが求められています」とボロン氏は述べていますが、ユーザーが意思決定の根拠について十分な説明を受けていればシステムを使用できると明言しています。システム。

Rodríguez Aguilar 氏は、アルゴリズムの結果を説明するツールがあることに同意しますが、プロセス中に何が起こるかは正確には不明です。 「しかし、私にとって最も心配なことは、説明可能性や透明性以上に、システムが安全であるという堅牢性の問題です。私たちが目指しているのは、安全ではなく、危険な動作を引き起こす可能性のあるネットワーク内の回路を特定することです」と彼は強調します。

最終的な目標は、特に機密性の高い問題に AI が使用される場合に、AI を制御下に置くことです。 「病院に治療法を提案したり、自動運転車を運転したり、財務上の推奨事項を提示したりする AI を導入する場合は、それが機能することを確認する必要があります。」したがって、研究者はアルゴリズムの内部で何が起こっているのかを理解することに執着しています。それは科学的な好奇心を超えています。