「私たちはまだAIの旅の始まりです」

ハードウェアの進歩と大規模なデータセットへのアクセスに起因する2000年代初頭にニューラルネットワークへの関心が復活しました [File]
|写真クレジット：ロイター

人工知能（AI）は近年驚くべき進歩を遂げていますが、機械学習の専門家シュレイヤス・スブラマニアンによると、まだ明らかにすることがたくさんあります。

AIの進化とそれがどこに向かっているかを理解するために、私はAWSの主要なデータサイエンティストであるSubramanianと接続しました。 インターフェイス ポッドキャスト、深いニューラルネットワークの開発、変圧器の台頭、およびAIのより広い軌道に関する洞察を集める。

ニューラルネットワークの根を人工ニューロンの初期の概念化にたどり、スブラマニアンは、1950年代のフランクローゼンブラットの作業を、パーセプトロンモデルで説明しました。

「これらのパーセプロンは、単純なパターン認識コンピューティングユニットです」と彼は説明しました。 「驚くべきことに、それらは今日でも密な層とアダプターで使用されており、大きな言語モデルをより効率的にしています。」

この基礎技術は、任意の出力に入力をマッピングできる普遍的な関数近似器になることを目的としたニューラルネットワークの基礎を築きました。

ニューラルネットワークの台頭

ハードウェアの進歩と大規模なデータセットへのアクセスに起因する、2000年代初頭にニューラルネットワークへの関心が復活しました。 Subramanianは、Alexnetの極めて重要な役割を強調しました。これは、Imagenet競争に勝つことで深い畳み込みニューラルネットワーク（CNNS）を普及させました。 「Alexnetは、パーセプロンを積み重ね、深い畳み込みニューラルネットワークを導入し、GPUの進歩を活用することでベースラインを設定しました」と彼は述べました。

CNNSは、特定の機能を強調するために色付きのプラスチックフィルターを画像上にスライドさせ、分類タスクを劇的に改善し、最新のAIアプリケーションへの道を開くことに似た、畳み込み操作を使用して画像認識を変換しました。

CNNSは画像処理に革命をもたらしましたが、メモリ機能が不足しており、これに再発性ニューラルネットワーク（RNNS）が対処しました。 「初期のCNN文献から欠落している要素は、記憶を形成する能力でした」とスブラマニアンは言いました。 RNNSは、時間の経過とともに情報を保持するためのメカニズムを導入しましたが、消失する勾配の問題などの問題に苦労しました。

これらの制限を克服するために、長期メモリ（LSTM）ネットワークやゲートの再発ユニット（GRU）が特殊なメモリモジュールを有効にするなどのアーキテクチャにより、AIは複雑な時間的依存性をより効果的に処理できます。

人間の脳に触発されました

Subramanianは人工知能と生物学的知能のギャップを認めていたが、AIの発達はしばしば神経科学からインスピレーションを得ている。 「私たちは、その効率を再現するために脳についてまだ十分に理解していません」と彼は認めました。感覚入力を並行して処理し、神経可塑性を介して適応し、エネルギー効率の高い計算を実行する人間の脳の能力は、比類のないままです。

AIモデルは数十億のパラメーターを誇っているにもかかわらず、脳の能力に依存していません。 「今日の大規模な言語モデルは、人間の脳のニューロンの数を超えていますが、脳の効率と柔軟性と比較して制限されています」とSubramanianは観察しました。

AIの旅の1つのマイルストーンは、Deepmindによるアルファゴの発展であり、これが強化学習と深いニューラルネットワークの力を実証しました。 「それは、複雑な意思決定を処理するための深い学習と強化戦略に依存して、GOのゲームで人間のパフォーマンスを上回りました」とSubramanianは反論しました。 Alphagoの成功は、戦略的推論と長期計画におけるAIの可能性を強調し、ゲームを超えた進歩に影響を与えました。

トランスレボリューション

2017年、AIは、特に自然言語処理において、変圧器アーキテクチャの導入で飛躍しました。独創的な論文「注意はあなたが必要とするすべて」であり、以前のRNNベースのモデルよりも優れた自己関節メカニズムを導入しました。 「変圧器は連続したボトルネックを排除し、長いシーケンスを効率的に処理しました」とSubramanianは説明しました。

このアーキテクチャは、BertやGPTのようなモデルにつながり、大規模な言語モデルと生成AIの台頭を促進しました。トランスの適応性により、テキスト生成から画像やオーディオ処理まで、多様なアプリケーションの基礎となりました。

AI業界と競争の激しい状況

競争の激しい景観について議論して、Subramanianは、Scaling LanguageモデルにOpenaiの戦略的焦点がGoogleのような技術の巨人よりも優位性を与えたことを指摘しました。 「Openaiは、他の人がためらっていたときに、コンピューティングリソースとデータキュレーションに多額の投資をしました」と彼は言いました。この初期のコミットメントは、GPT-2とGPT-3の成功とともに報われ、広範な採用と商業的成功につながりました。

一方、GoogleやAmazonなどの企業はさまざまな戦略を追求し、研究とビジネスの優先順位のバランスを取りました。 「Googleの焦点はMoonshotプロジェクトにもっと焦点を当てていましたが、Amazonは顧客に多様なAIソリューションを提供することを強調しました」とSubramanianは観察しました。

まだ旅が展開しています

単純なパーセプトロンから変革的言語モデルへのAIの進化は、数十年にわたる革新、学際的研究、技術の進歩を反映しています。しかし、スブラマニア人が強調したように、「私たちはまだこの旅の始まりにいます。 AIと神経科学について学ぶほど、まだ明らかにされていないことに気づきます。」

AIの未来は、人工知能と生物学的知能の両方の継続的な調査に起因する刺激的な開発を約束します。フィールドが進むにつれて、AIの歴史と基礎原則を理解することは、その可能性を形成し、今後の課題に対処する上で重要です。

（インターフェイスポッドキャストでShreyas Subramanianとの完全な議論を聞いたり、YouTubeビデオをご覧になって洞察を得てください。）