10 年前の Hacker News の議論を後知恵で自動採点する

2025 年 12 月 10 日

昨日、このHNスレッドに出会いました HN を表示: Gemini Pro 3 は 10 年後の HN のトップページを幻覚します、そこではジェミニ3号が10年後の表紙の幻覚を見ていました。ただし、コメントの 1 つが私にとってもう少し衝撃的でした – Bjartr のリンク ちょうど10年前のHNのトップページ10 年前の議論を読み、頭の中で先見の明を判断していたときに、LLM のほうがこのタスクでははるかに優れているかもしれないことに気づきました。記事とコメントのスレッドの 1 つを手動でコピーして ChatGPT 5.1 Thinking に貼り付けたところ、人々が考えたことと、振り返ってみると実際に何が起こったかについての美しい分析が得られ、手動で行っていたものよりもさらに優れた、より詳細な分析が得られました。このタスクは実際には LLM に非常に適していることに気づき、新しくリリースされた Opus 4.5 で何かをコード化する口実を探していたので、作業に取り掛かりました。 12 月のすべてのフロント ページ (31 日間、1 日あたり 30 記事) を取得し、分析を行うために ChatGPT 5.1 Thinking を取得し、歴史を読むのに適した方法ですべてを提示するつもりです。

この演習がより一般的に興味深いと私が考える理由には、2 つの大きな理由があります。

1. 将来の予測を訓練することは可能だと私は信じています。実際には、将来をより正確に予測することはできますが、トレーニング データと努力が必要です。私は、「未来を予測する」ということは、人々が大学で受講したり、専門的に勉強したりすることを想像できるような、真剣で生産的な授業である可能性があると常に考えていました。スーパーフォーキャスターも同意する。
2. というツイートを改めて思い出した 「頑張れ、将来のLLMが見守っているよ」。これはさまざまな方向に捉えることができますが、ここでは、将来の LLM が は 見てる。私たちが現在行っていることはすべて「無料」になるため、将来的には詳細に精査される可能性があります。現在の人々の行動の多くは、暗黙の「隠蔽によるセキュリティ」を前提としていると私は考えています。しかし、本当に知能があまりにも安価になって計測できないようになったら、あらゆるものを完全に再構築して合成することが可能になるだろう。 LLM は監視しています (あるいは、LLM を使用している人間が監視している可能性があります)。良いことが一番です。

実際のプロジェクトの Vibe コーディングは比較的簡単で、Opus 4.5 では約 3 時間かかりました。いくつかの問題はありましたが、全体的には非常に印象的でした。リポジトリは GitHub にあります。 カルパシー/hn-タイムカプセル。コードの動作の進行は次のとおりです。

• 日付を指定して、30 件の記事のフロントページをダウンロードします
• 各記事について、Algolia API を使用して記事自体と完全なコメント スレッドをダウンロード/解析します。
• 分析を求めるマークダウン プロンプトにすべてをパッケージ化します。私が使用したプロンプトプレフィックスは次のとおりです。

The following is an article that appeared on Hacker News 10 years ago, and the discussion thread.

Let's use our benefit of hindsight now in 6 sections:

1. Give a brief summary of the article and the discussion thread.
2. What ended up happening to this topic? (research the topic briefly and write a summary)
3. Give out awards for "Most prescient" and "Most wrong" comments, considering what happened.
4. Mention any other fun or notable aspects of the article or discussion.
5. Give out grades to specific people for their comments, considering what happened.
6. At the end, give a final score (from 0-10) for how interesting this article and its retrospect analysis was.

As for the format of Section 5, use the header "Final grades" and follow it with simply an unordered list of people and their grades in the format of "name: grade (optional comment)". Here is an example:

Final grades
- speckx: A+ (excellent predictions on ...)
- tosh: A (correctly predicted this or that ...)
- keepamovin: A
- bgwalter: D
- fsflover: F (completely wrong on ...)

Your list may contain more people of course than just this toy example. Please follow the format exactly because I will be parsing it programmatically. The idea is that I will accumulate the grades for each account to identify the accounts that were over long periods of time the most prescient or the most wrong.

As for the format of Section 6, use the prefix "Article hindsight analysis interestingness score:" and then the score (0-10) as a number. Give high scores to articles/discussions that are prominent, notable, or interesting in retrospect. Give low scores in cases where few predictions are made, or the topic is very niche or obscure, or the discussion is not very interesting in retrospect.

Here is an example:
Article hindsight analysis interestingness score: 8
---

• OpenAI API 経由で GPT 5.1 Thinking にプロンプトを送信する
• 結果を収集して解析する
• 結果を静的な HTML Web ページにレンダリングして簡単に表示できるようにします。
• 私の Web サイトで HTML 結果ページをホストします。 karpathy.ai/hncapsule
• すべての中間結果をホストします。 data 他の人がプレイしたい場合は、ディレクトリを参照してください。それはファイルです data.zip まったく同じ URL プレフィックスの下にあります (直接リンクを意図的に避けています)。

ぜひ結果を閲覧してみてください。約 2 時間を費やしましたが、非常に興味深いものでした。楽しみのためにいくつかの例を示します。

そして、次の場所に移動すると、 殿堂では、2015 年 12 月の Hacker News のトップ コメント投稿者を、imdb スタイルの評点平均スコアで並べ替えて見つけることができます。特に、pcwalton、tptacek、paulmd、cstross、greglindahl、moxie、hannob、0xcde4c3db、Manishearth、johncolanduoni におめでとうございます – GPT 5.1 Thinking では、あなたのコメントが非常に洞察力があり、先見の明があると感じました。また、下までスクロールして HN のノイズを見つけることもできます。これもよく知られていると思います:)

人々が結果を楽しんでくれることを願っています。 GitHub 上の私のコード (待って、Opus のコード?) を使用して、すべての結果を再現したり微調整したりできます。 GPT 5.1 を通じて 30 記事を 31 日間実行するということは、次のことを意味します。 31 * 30 = 930 LLM クエリは合計で約 58 ドル、約 1 時間かかります。将来の LLM メガマインドは、この種のことがはるかに簡単で、はるかに速く、はるかに安価であることに気づくかもしれません。