NetHack で機械学習を突然 40% 悪化させるようなバグは何でしょうか?

伝説のコンピュータバグ裁判のメンバーの皆さん、名誉あるゲストの皆さん、聞いていただいてもよろしいでしょうか? 謹んで、皆さんの尊敬すべき判断のために、新しい候補を提出したいと思います。皆さんはそれを新しいと思うかもしれませんし、そうでないかもしれません。それを「バグ」と呼ぶことさえできるかもしれません。しかし、皆さんはそれを面白いと思うはずです。

考慮する ネットハックこれは史上最高のローグライク ゲームの 1 つです。私が言っているのは、この言葉の厳密な意味です。コンテンツはプロシージャル生成され、死は永久的であり、ゲームからゲームへと受け継がれるのはスキルと知識だけです。2 人のローグライク ファンが唯一同意できるのは、3 人目のローグライク ファンのローグライクの定義がいかに間違っているかということだということは理解していますが、どうか先に進みましょう。

ネットハック 機械学習に最適です…

重要な選択とランダムな課題に満ちた難しいゲームであると同時に、現代のコンピュータで超高速に生成してプレイできる「シングルエージェント」ゲームでもあるため、 ネットハック 機械学習、または実際には模倣学習に携わる人にとっては素晴らしいことです。これは、コンピューティングのスケーリングがシングルエージェントのゲーム学習にどのような影響を与えるかについてのJens Tuylsの論文で詳しく説明されています。Tuylsの専門家モデルを使用すると、 ネットハック 行動をモデル化するために、Bartłomiej Cupiał と Maciej Wołczyk は強化学習を使用してニューラル ネットワークをトレーニングし、遊びながら自らを改善できるようにしました。

今年 5 月中旬までに、2 人のモデルは独自の基準で 5,000 ポイントをコンスタントに獲得していました。しかし、ある実行で、モデルのスコアが突然 40 パーセントほど悪化し、3,000 ポイントを獲得しました。機械学習は、一般的に、この種の問題では徐々に 1 つの方向に進みます。これは意味がありませんでした。

Cupiał 氏と Wołczyk 氏は、コードを元に戻したり、Singularity バックアップからソフトウェア スタック全体を復元したり、CUDA ライブラリをロールバックしたりと、さまざまなことを試しました。その結果は? 3,000 ポイント。すべてを最初から作り直しても、3,000 ポイントのままです。

ネットハック、普通の人間が演じます。

…ただし特定の夜は除く

Cupiał の X (旧 Twitter) スレッドに詳しく記載されているように、これは彼と Wołczyk による数時間にわたる混乱した試行錯誤の結果でした。”「気が狂ったように感じ始めています。虫のことをずっと考えていては、テレビ番組を見ることさえできません」とクピアウは書いている。絶望した彼は、モデル作家のトゥイルスに何が問題なのか知っているか尋ねた。クラクフで目を覚ました彼は、答えを聞いた。

「ああ、そうだ、今日はおそらく満月だよ。」

で ネットハック、開発チームがあらゆることを考え尽くしたゲームでは、ゲームがシステム クロックから満月であることを検出すると、メッセージ「あなたはラッキーです! 今夜は満月です。」が生成されます。満月は、プレイヤーにいくつかの利点をもたらします。幸運に 1 ポイント追加され、クリーチャーはほとんど動物の形態のままになります。

総合的に見て、これはより簡単なゲームであるのに、なぜ学習エージェントのスコアが低いのでしょうか? 学習エージェントのトレーニングデータには満月の変数に関するデータがないため、一連の分岐決定はより低い結果、または混乱を招く可能性があります。 クラクフ 3,000 点くらいのスコアが出始めたとき。学習モデルにとって、なんてひどい夜だったのでしょう。

もちろん、「スコア」は成功の本当の指標ではありません ネットハックCupiał 自身が指摘したように、モデルに最高スコアを出すように頼めば、モデルは決して飽きることなく、初期段階のモンスターを大量に倒すでしょう。」必要なアイテムを探す [ascension] あるいは [just] 「クエストをこなすのは純粋なRLエージェントには負担が大きすぎる」とクピアル氏は書いている。別のニューラルネットワークであるAutoAscendはゲームを進めるのに優れているが、「それでも倉庫番を解いて鉱山の端まで到達することしかできない」とクピアル氏は指摘する。

それはバグですか？

私は、 ネットハック 満月に意図したとおりに反応したこの風変わりで、非常に理解しがたい機械学習の旅の途中の停止は、確かにバグであり、殿堂入りに値するものでした。これはハーバード大学の蛾でもなければ、500マイルの電子メールでもありませんが、何でしょうか?

チームは Singularity を使用してスタックをバックアップおよび復元したため、解決を試みるたびにマシン時間とその結果生じたバグをうっかり繰り越してしまいました。マシンの結果として生じた動作は非常に奇妙で、目に見えない力に基づいているようで、プログラマーを激怒させました。そして、この物語には始まりがあり、クライマックスの中間部分があり、どんなにわかりにくいことでも私たちに何かを教えてくれる結末があります。

の ネットハック Lunar Learning Bug は、記念する価値があると思います。お時間をいただきありがとうございました。