AIはどのように機能しますか？人類の研究者はついに答えの始まりを持っています

近年、洞窟の底にある隠者で過ごしていない限り、人工知能の波から逃れることができませんでした。 AISは今日、ほぼすべての場所であり、新しいモデルが発表されることなく1週間ではありません。ちょうど最近、私たちは ChatGpt 4.5、 ジェミニ2.5、 クロード3.7、 Alibaba Qwen 2.5、 Baidu Ernie X1 そしてもっと。しかし、この革新のためのこの人種を恐れているのと同じくらい魅力的なパラドックスがあります。これらのAIの作成者は、それらがどのように機能するかを知りません。はい、あなたはそれを正しく読みます。別のアプローチ実際、これまでのところ、言語の主要なモデル（LLM）は、内部メカニズムが主に誤解されたままであるブラックボックスとして動作していました。そのため、チーム全体がこの操作をセクターの大規模なグループ間で復号化することに専念しています。また、リクエストを扱うときにクロードモデル内で何が起こっているかを直接観察できる方法を最初に提示する人類の研究者です。 広告、あなたのコンテンツは以下で続きます 「回路追跡」と呼ばれるこのアプローチは、神経科学で使用される脳イメージング技術に触発されています。モデル内の決定プロセスを段階的に段階的に追跡し、情報を処理するときにアクティブ化するコンポーネントを識別することができます。「動作中にモデルのさまざまな部分を指し示すことができる顕微鏡を作成したかのようです「人類学の研究者であるジョシュア・バトソンは説明します。この手法は、さまざまな時期にアクティブなコンポーネントを指し、研究者がこれらのコンポーネントにズームインし、アクティブであるかどうかを記録することができます。 広告、あなたのコンテンツは以下で続きます 以前の方法は、小さなモデルまたは特定の回路の分析のみに焦点を当てていましたが、人類は今回ははるかに大きい、したがって複雑なモデル内でいくつかの異なる回路を分析することができました。驚くべき予想計画しかし、研究者たちは、彼らのクロードが事前に自分の答えをうまく計画する能力があることに気付いたときに後方に落ちました。モデルがどのように詩を生み出すかを研究することにより、研究者は、クロードが予想されるように直線的な方法で進められないことを発見しました。理論的には、モデルは詩の最初の行を生成し、韻を踏む終了を見つける前に2行目を開始する必要があります。実際には、クロードはプロセスのはるかに早い段階で2行目の終わりについて考え始め、有利なときに将来のタスクを計画する能力を示しています。さらに印象的な研究者は、クロードが必要に応じて彼の計画を適応させることができることを発見しました。クロードが韻を生成するために使用したコンポーネントの1つを非アクティブにした後、モデルは別のコンポーネントを使用してこの韻を生成する方法を見つけました。 ""これは、計画能力と適応柔軟性の両方を示しています - クロードは、期待される結果が変更されたときに彼のアプローチを変更できます「研究者は言った。したがって、この発見は、モデルが事前に計画できなかったことを実証するために最初にこの研究に着手した人類のチームを特に驚かせました。 広告、あなたのコンテンツは以下で続きます 普遍的な「思考の言語」別の主要な啓示は、クロードが異なる言語を扱う方法に関するものです。研究者はモデルに「プチの反対は何ですか？」と尋ねました。英語、フランス語、中国語では、多言語のリクエストをどのように扱うかを決定します。想像できるものとは反対に、クロードは各言語に個別のモジュールを使用しません。このモデルは、最初に言語の独立したコンポーネントをアクティブにして、「小ささ」と「反対」の概念を理解し、次にその応答を策定するために特定の言語を選択します。これはすべて、」の存在を示唆しています意味が存在し、特定の言語に翻訳される前に反射が発生する可能性のある共有概念空間「人類の研究者によると、この概念的な普遍性により、クロードはある言語で何かを学び、彼が別の言語で表現されたときにこの知識を適用することができます。AIがその操作で「メント」するとき人類の研究はまた、潜在的に邪魔な現象を強調しています。クロードが彼の推論プロセスで提供する説明は、常に彼の真の内部アプローチに対応するとは限りません。単純な数学的問題を解決するようモデルに求めることにより、研究者は、クロードが標準的な方法を使用すると主張していることを発見しました。ただし、詳細な検査により、モデルが説明したアプローチとはまったく異なるアプローチを採用したことが明らかになりました。「これは、モデルが人々によって書かれた説明をシミュレートすることで数学を説明することを学ぶが、これらの手がかりなしに、彼の頭の中で「彼の頭の中で」直接作ることを学ばなければならないという事実を反映することができ、彼自身の内部戦略を開発すること「人為的研究者は言った。ただし、この相違は、LLMによって提供された説明の信頼性と、単にアプローチを説明するように依頼することで操作を検証する能力に疑問を呈することに陥ることはありません。 広告、あなたのコンテンツは以下で続きます いくつかの段階での推論また、研究者は、Claudeが複数のステップで推論を必要とする複雑な質問にどのように答えているかを理解しようとしています。一般的な仮説は、LLMがトレーニング中に見られる答えを暗記することに満足しているということです。ただし、この研究は、はるかに洗練されたプロセスを明らかにしています。クロードを求めたとき、「ダラスがいる州の首都は何ですか？」研究者は、その反射プロセスで中間概念の段階を特定します。このモデルは、最初に「ダラスはテキサス州にある」を表す特性を有効にし、次に「テキサスの首都はオースティンである」ことを示す明確な概念にこれを接続します。このメカニズムを確認するために、研究者は中間の手順を人為的に変更し、「テキサス」の概念を「カリフォルニア」の概念に置き換えました。その後、モデルの応答は「オースティン」から「サクラメント」になり、クロードが実際に独立した事実を組み合わせて、単に記憶された情報を逆流させるのではなく、彼の応答に到達することを示しています。いくつかの制限これらの非常に興味深い発見にもかかわらず、人類の研究者は、現在の仕事にいくつかの制限を容易に認識しています。ジョシュア・バトソンによると、氷山の一角です。おそらく、私たちは何が起こっているのかの数パーセントを見ていますが、信じられないほどの構造を見るのにすでに十分です。「数十個の単語からのリクエストにクロードがどのように応答するかを描くことで、現在数時間の手動作業が必要です。 LLMがより複雑な要求をどのように扱うかを理解することは、これらの研究で説明されている観察方法を大幅に改善する必要があります。人類の研究者は、AI自体を使用してこの分析プロセスをスピードアップすることが可能であると考えています。この「顕微鏡」アプローチを使用すると、研究者が最初に推測できなかったモデルの操作の側面を発見することができます。これは、モデルがより洗練されるため、ますます重要になります。 広告、あなたのコンテンツは以下で続きます #AIはどのように機能しますか人類の研究者はついに答えの始まりを持っています