科学大学は、モノのインターネット (IoT) エッジ デバイスの計算上の課題に対処するために、3 値勾配を使用した 2 値化ニューラル ネットワーク (BNN) スキームを開発したことを明らかにしました。
同大学は、この画期的な進歩により、人工知能 (AI) をより広範囲に使用できる強力な IoT デバイスへの道が開かれる可能性があり、これは急速に発展している多くの分野に顕著な影響を与えると述べた。同社は、機能するために常にクラウド接続を必要とせずに、より効率的、小型、信頼性を高めることができるウェアラブル健康監視デバイスの例を挙げています。スマートハウスは、より複雑なタスクを実行し、より応答性の高い方法で動作できるようになります。
さらに、研究者らは、これらおよびその他の考えられるすべての使用例にわたって、提案された設計はエネルギー消費も削減できるため、持続可能性の目標に貢献できると述べた。
技術革新の中心となったのは、磁気ランダムアクセスメモリ（RAM）ベースのコンピューティングインメモリアーキテクチャの導入で、チームによれば、これにより回路サイズと消費電力が大幅に削減されたという。この設計は、従来の BNN と比較してほぼ同等の精度とより速いトレーニング時間を達成したと言われており、IoT システムで使用されるようなリソースが限られたデバイスでの効率的な AI 実装にとって有望な製品となっています。
研究チームはプロジェクトの背景を説明し、過去10年間でますます速いペースで発展している2つの明確な広範な技術分野があると述べた。それは人工知能（AI）とIoTであり、エンジニアも研究者も同様にデバイスが利用できる世界を予見している。それらは遍在しており、高度に相互接続された世界の基盤を構成しています。
しかし、研究チームは、IoT エッジデバイスに AI 機能を導入することには大きな課題があると警告しました。人工ニューラル ネットワーク (ANN) は、BNN がそのサブセットである最も重要な AI テクノロジーの 1 つであり、大量の計算リソースを必要とします。
一方、IoT エッジ デバイスは本質的に小さく、電力、処理速度、回路スペースが限られています。エッジデバイス上で効率的に学習、導入、運用できる ANN の開発は大きなハードルです。
彼らの最新の研究では に掲載されました IEEEアクセス東京理科大学の川原貴之氏と藤原裕也氏は、この課題に対する洗練された解決策を見つけるためにどのように取り組んでいるかを明らかにし、BNN のトレーニング アルゴリズムと、このアルゴリズムのメモリ内コンピューティング (CiM) での革新的な実装を導入しました。 ) IoT デバイスに適したアーキテクチャ。
「BNN は、-1 と +1 のみの重みとアクティベーション値を使用する ANN であり、情報の最小単位をわずか 1 ビットに減らすことで、ネットワークに必要なコンピューティング リソースを最小限に抑えることができます」と川原氏は述べています。 「ただし、推論中は重みと活性化値を単一ビットに格納できますが、学習中は重みと勾配は実数であり、学習中に実行されるほとんどの計算も実数計算です。このため、IoT エッジ側の BNN に学習機能を提供することが困難でした。」
これを克服するために、研究者らは 3 つの主要な革新を特徴とする三元勾配 BNN (TGBNN) と呼ばれるトレーニング アルゴリズムを開発しました。まず、重みとアクティベーションをバイナリに保ちながら、トレーニング中に 3 値の勾配を使用します。次に、ストレートスルー推定器 (STE) を強化し、勾配逆伝播の制御を改善して効率的な学習を確保しました。第三に、磁気RAM (MRAM) セルの動作を利用してパラメータを更新するための確率論的なアプローチを採用しました。
その後、研究チームは、回路スペースと電力を節約するために専用プロセッサではなくメモリ内で直接計算を実行する最新の設計パラダイムである CiM アーキテクチャに TGBNN アルゴリズムを実装しました。これを実現するために、彼らは MRAM アレイの構築ブロックとしてまったく新しい XNOR ロジック ゲートを開発しました。このゲートは磁気トンネル接合を使用して、情報を磁化状態で保存します。
「結果は、私たちの三値化勾配 BNN が誤り訂正出力コードベースの学習を使用して 88% 以上の精度を達成しながら、同じ構造を持つ通常の BNN の精度と一致し、トレーニング中により高速な収束を達成することを示しました。」と川原氏は付け加えました。 「私たちの設計により、エッジ デバイス上で効率的な BNN が可能になり、BNN の学習能力と適応能力が維持されると信じています。」
#東京理科大学がエッジ #IoT #上のニューラル #ネットワークの先駆者となる