エンジニアは 1996 年にクロードを使用して「Monster Raiders」を再作成しましたが、ハードコア Web サイトは LLM 固有の欠陥を明らかにできませんでした。

多くの上級ネチズンにとって、1996 年に公開されたバスケットボール アニメ映画「スペース ジャム」は子供時代の思い出であるだけでなく、公式ウェブサイトは今も当時の姿を保っています。、インターネット開発の歴史の中で生きた化石です。

生成 AI テクノロジーの爆発的な普及に伴い、一部のエンジニアは最近、この 30 年前の Web サイトのスクリーンショットを最も強力な AI モデル「クロード」に投げたら、完全に再現できるだろうかという気まぐれな思いを抱きました。

この実験は、海外テクノロジーフォーラムのハッカーニュースで激しい議論を巻き起こした。エンジニアのジョナ・グローバーがこの挑戦を主導しました。彼は「Monster Raiders」ウェブサイトのスクリーンショットとオリジナル素材のパッケージをクロードに投げつけ、同じウェブページを書くよう依頼した。当初、これは AI にとって簡単なことだと考えていましたが、結果は残念なものでした。

それでも クロードは「復元に成功した」と報告しますが、生成された Web ページは欠陥だらけです。最も明らかな失敗点は、Web サイトの中心にある「Planet B-Ball」のロゴです。元のアイコンはロゴの周囲に正円で配置されていましたが、クロードが作成したバージョンでは奇妙なひし形になっていました。グローバーは、正確なピクセル座標や距離を認識できるかどうかを尋ね、クロードに修正を指示しようとしました。クロードは正直に「いいえ」、「それは不可能です」と答え、誤差を 5 ピクセル以内に制御する自信は「100 点中 15 点」にすぎないとさえ認めました。

徹底的な分析の結果、グローバー氏は問題が大規模言語モデル (LLM) に固有の制限にあることを発見しました。クロードはWebページの構造は理解できますが、画像を「パッチ」単位（たとえば16×16ピクセル）で処理するため、ピクセルレベルでの空間位置を正確に把握することができません。エンジニアがグリッド支援を提供したとしても、クロードは依然として図が混雑している問題を解決できませんでした。

この事件はコミュニティ内で幅広い反響を引き起こしました。多くの昔ながらの開発者は、1996 年の Web デザインでは CSS (Cascading Style Sheets) が普及していなかった、と指摘しています。当時、レイアウトには多数の Table (テーブル) タグが使用されていました。 AI に最新の CSS ロジックを使用してその年のテーブル レイアウトを復元させると、失敗は避けられません。

しかし、挑戦はこれで終わりではありません。別の開発者theaura氏は後にこの挑戦が成功したと発表した。彼はまったく異なる戦略を採用しました。それは、Nori ツールでクロード コードを使用し、「テスト駆動開発」(TDD) プロセスを導入したことでした。

theahura は自動テスト スクリプトを作成し、Playwright を使用して、生成された Web ページと元のスクリーンショットのピクセルの違いを 1 つずつ比較しました。同氏は、AIは記憶力が悪く、実行中に以前の設定を忘れてしまう「コンテキスト腐敗」の問題を起こしやすいと強調した。自動テストを通じて AI を継続的に修正し、背景画像を強制的に参照標準にすることで、最終的にクロードは 1996 年の「Monster Raiders」ウェブサイトのピクセルレベルの復元を作成することができました。

この実験は、AI を使用してプログラムを作成したいすべての人に重要な啓示を与えました。AI は魔術師ではなく、正確な指示と継続的な監視を必要とするインターンに似ています。これを有効に活用したい場合、重要なのは、プロンプトがどれほど美しく書かれているかではなく、完全なテストと検証プロセスを確立しているかどうかです。