頑固なコンピューター科学者が誤って深層学習ブームを起こした経緯

そこで 2006 年に、Nvidia は CUDA プラットフォームを発表しました。 CUDA を使用すると、プログラマーは、単一の実行ユニットで実行するように設計された短いプログラムである「カーネル」を作成できます。カーネルを使用すると、大きなコンピューティング タスクを並列処理できる一口サイズのチャンクに分割できます。これにより、特定の種類の計算を CPU のみを使用する場合よりもはるかに高速に完了できます。

しかし、CUDA が最初に導入されたとき、CUDA にはほとんど関心がありませんでした、と Steven Witt 氏は昨年 The New Yorker に次のように書いています。

2006 年末に CUDA がリリースされたとき、ウォール街は落胆の反応を示しました。ファン氏はスーパーコンピューティングを大衆にもたらしていたが、大衆はそのようなものを望んでいる様子を見せなかった。

シリコンバレーの人気ポッドキャスト「Acquired」の共同司会者であるベン・ギルバート氏は、「彼らはこの新しいチップアーキテクチャに大金を費やしていた」と語った。 「彼らは、当時それほど大きな市場ではなかった学術および科学コンピューティングの目立たない一角をターゲットに、何十億ドルも投じていました。彼らがつぎ込んだ数十億ドルよりは確実に少額でした。」

Huang氏は、CUDAが存在するだけでスーパーコンピューティング分野が拡大すると主張した。この見方は広く受け入れられず、2008 年末までに Nvidia の株価は 70% 下落しました。

CUDA のダウンロード数は 2009 年にピークに達し、その後 3 年間減少しました。取締役会メンバーは、エヌビディアの株価低迷により企業襲撃者の標的になるのではないかと懸念していた。

Huang 氏は CUDA プラットフォームを作成したとき、AI やニューラル ネットワークについて特に考えていませんでした。しかし、ヒントンの逆伝播アルゴリズムは簡単に一口サイズの塊に分割できることが判明しました。したがって、ニューラル ネットワークのトレーニングは CUDA にとってキラー アプリであることが判明しました。

Witt 氏によると、ヒントン氏は CUDA の可能性をすぐに認識していました。

2009 年、ヒントンの研究グループは、Nvidia の CUDA プラットフォームを使用して、人間の音声を認識するニューラル ネットワークをトレーニングしました。彼は、その年の後半に開催された会議で発表した結果の質に驚きました。その後、彼は Nvidia に連絡を取りました。 「私は次のような電子メールを送りました。『ほら、1,000 人の機械学習研究者に、Nvidia カードを買いに行くべきだと言いました。無料で送っていただけますか？』 」ヒントンは私に言いました。 「彼らはノーと言った。」

軽蔑されたにもかかわらず、ヒントンと彼の大学院生であるアレックス・クリジェフスキーとイリヤ・サツケヴァーは、AlexNet プロジェクト用に Nvidia GTX 580 GPU のペアを入手しました。各 GPU には 512 個の実行ユニットがあり、Krizhevsky と Sutskever は CPU を使用した場合よりも数百倍速くニューラル ネットワークをトレーニングすることができました。この速度により、より大規模なモデルをトレーニングし、より多くのトレーニング画像でモデルをトレーニングできるようになりました。そして、大規模な ImageNet データセットに取り組むには、追加のコンピューティング能力がすべて必要になります。