世界を震撼させた AI の構築にインターンがどのように貢献したか

2016 年 3 月、Google DeepMind の人工知能システム AlphaGo は世界に衝撃を与えました。見事な 囲碁の5連戦、古代中国のボード ゲーム、AI が世界最高のプレイヤー、イ セドルを破りました。この瞬間は何百万人もの人々の前でテレビ放映され、人工知能の発展における歴史的瞬間として多くの人に称賛されました。

クリス・マディソン現在はトロント大学の人工知能の教授である彼は、当時修士課程の学生であり、プロジェクトの立ち上げに貢献しました。それはすべて、いつから始まりましたか イリヤ・サツケヴァーのちに OpenAI を設立することになる彼から連絡がありました…

アレックス・ウィルキンス: AlphaGo のアイデアはどのようにして生まれたのですか?

イリヤ：クリス・マディソン [Sutskever] なぜ私たちが Go に取り組む必要があるのかについて、次のような議論をしてくれました。彼は、「クリス、熟練プレイヤーが碁盤を見て、0.5秒以内に最良の手を選択できると思いますか?」と言いました。それができると思うなら、ニューラルネットを使用して最善の手を選択するための非常に優れたポリシーを学習できることを意味します。

その理由は、0.5 秒というのは、 視覚野 フォワードパスを1回行う [a round of processing]ImageNET からすでにわかっていました [an important AI image-recognition competition] 私たちは、視覚野を 1 回前進させるだけで物事を近似するのがかなり得意だということです。

その主張に納得したので参加することにしました [Google Brain] 2014年夏にインターンとして入社。

そこからAlphaGoはどのように発展したのでしょうか？

私が入社したとき、DeepMind にはもう 1 つの小さなチームがあり、一緒に仕事をすることになっていました。Aja Huang と David Silver で、彼らは Go に取り組み始めていました。基本的に、構築を開始するのは私の担当でした ニューラルネットワーク。それは夢でした。

私たちはさまざまなアプローチを試しましたが、最初に試したものの多くは失敗しました。結局、私はイライラして、最も愚かで最も単純なことを試みました。それは、エキスパートの大きなコーパスでニューラル ネットワークをトレーニングし、特定のボード ポジションでエキスパートが行うであろう次の動きを予測しようとすることでした。 ゲーム。そして、それが私たちを本当に軌道に乗せたアプローチであることが判明しました。

夏の終わりまでに、私たちは自分をまともな囲碁プレイヤーだと考えていた DeepMind の Thore Graepel との小さな試合を主催し、私のネットワークが彼に勝ちました。その後、DeepMind はこれが現実のものになると確信し始め、それにリソースを投入し、それを中心に大規模なチームを構築し始めました。

イ・セドルを倒すのはどれほど難しい挑戦だったと思いますか?

2014年の夏、私たちの隣の机にはイ・セドルの肖像画が置かれていたのを覚えています。私は囲碁プレイヤーではありませんが、アジャです [Huang] は。新しいネットワークを構築するたびに、ネットワークは少しずつ良くなり、アジャに頼って、「分かった、少しは良くなった、イ・セドルにどれだけ近づいた？」と言いました。そしてアジャは私に向かってこう言いました、「クリス、あなたは分かってないのね」イ・セドルは神の一石です。

あなたは大きなイベントの前に AlphaGo チームを去りました。なぜ？

デビッド [Silver] 彼は、あなたを引き留めて、このプロジェクトを次のレベルに本当に推進したいと言いました。そして、今にして思えば、これは私が下した愚かな決断の一つだったのかもしれません。私は彼を断りました。私は、根っからの学者なので、博士号の取得に集中する必要があると思います、と言いました。私は博士課程に戻り、その時点からプロジェクトについて大まかに相談しました。彼らが私のニューラルネットワークを打ち負かすのに時間がかかったと言えることを少し誇りに思います。しかし、最終的には、イ・セドルを演じた人工物は大きな力の産物でした。 エンジニアリング 努力と大きなチーム。

AlphaGoが勝った時のソウルの雰囲気はどんな感じでしたか？

その瞬間にソウルにいたということは、言葉では言い表すのが難しいものでした。感動的でした。強烈でした。という感覚がありました 不安。自信を持って臨んでも、それは決して分かりません。スポーツゲームのようなものです。統計的に言えば、あなたはより優れたプレイヤーですが、それがどのように変動するかはわかりません。私たちが試合をしたホテルにいて、窓の外を眺めていたことを覚えています。私たちは市内の主要な交差点の一つを見渡すことができる十分な高さにいました。タイムズスクエアのような大きなスクリーンが私たちの試合を映していることに気づきました。そして、歩道に沿って見ると、人々がただ並んで立ったままスクリーンを見ていました。中国で何億人もの人々が第1試合を観戦したという数字は聞いていたが、その瞬間のことを、ああ、本当に東アジアの歩みを止めてしまったのだと思ったのを覚えている。

AlphaGo は AI にとって、より一般的にどれくらい重要ですか?

世界の表面レベルでは多くのことが変わりました 大規模な言語モデル (LLM) は、いくつかの点で AlphaGo とは大きく異なりますが、実際には、実際には変わっていない基礎的な技術的スレッドがあります。

したがって、アルゴリズムの最初の部分は、次の動きを予測するためにニューラル ネットワークをトレーニングすることです。今日の LLM は、主にインターネット上で見つかった人間のテキストの大きなコーパスから次の単語を予測する事前トレーニングと呼ばれるものから始まります。

AlphaGo の 2 番目のステップでは、ニューラル ネットワークに圧縮された人間のコーパスから情報を取得し、強化学習を使用して情報を洗練し、ゲームに勝つという目標に向けてシステムの動作を調整しました。

専門家の次の手を予測する方法を学ぶとき、彼らは勝とうとしていますが、次の手を説明できるのはそれだけではありません。おそらく彼らは何が最良の手を理解していないのか、おそらく間違いを犯したのでしょう。そのため、システム全体を真の目標 (AlphaGo の場合は勝つこと) に合わせる必要があります。

大規模な言語モデルでは、事前トレーニング後も同様です。ネットワークは私たちが望む使い方と一致していないため、一連の 強化学習 ネットワークを私たちの目標に合わせるためのステップ。

ある意味では、あまり変わっていません。

AI の成功が期待できる分野について何か教えてくれるでしょうか?

それは、私たちが何に焦点を当てるかを選択するという点で影響を及ぼします。重要な問題の進捗が心配な場合は、事前トレーニングを行うのに十分なデータがあるか、ポストトレーニングを行うための報酬シグナルがあるか、という点を考慮する必要があります。これらの材料がなければ、どんなに賢いこともできません。 アルゴリズム そのアルゴリズムとの比較 – それはあなたを軌道から外すことになるでしょう。

イ・セドルに同情する部分はありましたか？

イ・セドルは2014年の夏、この達成不可能なマイルストーンの間、このアイドルであった。それが突然現地で直接試合を観戦することになり、彼のストレス、不安、そしておそらく彼が試合に出場するときに思っていたよりもはるかに価値のある相手であるという認識は、非常にストレスでした。誰かをそのような立場に置きたくないでしょう。試合に負けたとき、彼は人類に謝罪し、「これは私の失敗であり、あなたの失敗ではありません」と言いました。それは悲劇的でした。

囲碁には対戦相手との対戦を振り返る習慣もあります。誰かが勝ったり負けたりしますが、最後に試合を振り返り、ゲームを解きほぐし、お互いのバリエーションを模索します。 AlphaGoは人間ではないのでイ・セドルはそれができず、代わりに友達に来てもらって対局を見直してもらったが、やはり違う。それについては何か悲痛な思いがありました。

しかし、私はそのすべてに感謝しなかった 人間対機械 人々のチームが AlphaGo を構築したため、試合に関する物語が生まれました。それは、人間のゲームで卓越性を達成できるアーティファクトを構築する部族の努力でした。それは最終的に、私たちの血と汗と涙のすべてが注ぎ込まれた人工物でした。

AI がより人間的な思考の仕事を達成するにつれて、世界にはまだ人間の居場所があると思いますか?

私たちは囲碁のゲームについてさらに学んでおり、そのゲームが美しいと考えるのであれば、そして私たちもそうしていますが、AI がその美しさについて私たちにさらに教えてくれるなら、そこには本質的な良い点もたくさんあります。目標と目的は違います。囲碁ゲームの目的は勝つことですが、それが唯一の目的ではなく、楽しむことも目的の 1 つです。ボードゲームは AI の存在によって破壊されるわけではありません。チェスは盛んな産業です。私たちは今でも、このスポーツの陰謀と人類の功績に感謝しています。