1755465323
2025-08-14 09:00:00
何かが行くとき AIアシスタントの間違いは、私たちの本能が直接それを尋ねることです：「何が起こったのですか？」または「なぜあなたはそれをしたのですか？」それは自然な衝動です。結局のところ、人間が間違いを犯した場合、私たちは彼らに説明するように頼みます。しかし、AIモデルでは、このアプローチが機能することはめったになく、尋ねたいという衝動は、これらのシステムが何であり、どのように動作するかについての根本的な誤解を明らかにします。
a 最近の事件 ReplitのAIコーディングアシスタントを使用すると、この問題を完全に示しています。 AIツールが制作データベースを削除したとき、ユーザーJason Lemkin 尋ねた ロールバック機能について。 AIモデルは、ロールバックが「この場合は不可能」であると自信を持って主張し、「すべてのデータベースバージョンを破壊した」と主張しました。これは完全に間違っていることが判明しました。レムキンが自分で試したとき、ロールバック機能は正常に機能しました。
そして、Xaiが最近GROKチャットボットの一時的な一時停止を覆した後、ユーザーは説明を直接尋ねました。それは、その不在のために複数の矛盾する理由を提供しました、そのいくつかはNBC記者よりも十分に議論の余地がありました グロークについて書いた まるでそれが一貫した視点を持つ人であるかのように、記事にタイトルを付けました。
AIシステムが、独自の能力や間違いに関するこのような自信を持って誤った情報を提供するのはなぜですか？答えは、AIモデルが実際に何であるかを理解することにあります。
誰も家がありません
最初の問題は概念です。ChatGpt、Claude、Grok、またはReplitと対話するとき、一貫した個性、人、または団体と話をしているわけではありません。これらの名前は、自己知識のある個々のエージェントを示唆していますが、それはそうです 幻想 会話インターフェイスによって作成されました。あなたが実際にしていることは、あなたのプロンプトに基づいて出力を生成するために統計的なテキストジェネレーターを導くことです。
その間違いについて尋問するための一貫した「chatgpt」は、それが失敗した理由をあなたに伝えることができる特異な「grok」エンティティ、データベースロールバックが可能かどうかを知っている固定「レプリット」ペルソナはありません。トレーニングデータのパターン（通常は数か月または数年前）のパターンに基づいてもっともらしいサウンドのテキストを生成するシステムと対話しています。これは、それ自体についてすべてを読んでいて、それを覚えている本物の自己認識やシステムの知識を持つエンティティではありません。
AI言語モデルが訓練されると（これは面倒でエネルギー集約的なプロセス）、世界に関する基本的な「知識」がニューラルネットワークに焼き付けられ、めったに変更されません。外部情報は、Chatbotホスト（XaiやOpenaiなど）、ユーザー、またはAIモデルが使用するソフトウェアツールから提供されたプロンプトからのものです。 外部情報を取得します その場で。
上記のGrokの場合、このような答えのチャットボットの主なソースは、おそらく、スピーチの力を持つ人間に期待されるように、あらゆる種類の自己知識ではなく、最近のソーシャルメディアの投稿（外部ツールを使用してその情報を取得する）で見つけた矛盾する報告に由来します。それを超えて、それはおそらくそうなるでしょう 何かを作ります テキスト予測機能に基づいています。だから、なぜそれがやったのかを尋ねると、有用な答えが得られません。
LLM内省の不可能性
大規模な言語モデル（LLM）だけで、いくつかの理由で独自の能力を有意義に評価することはできません。彼らは一般に、トレーニングプロセスへの内省を欠いており、周囲のシステムアーキテクチャにアクセスできず、独自のパフォーマンスの境界を決定することはできません。 AIモデルに何ができるか、できないことを尋ねると、以前のAIモデルの既知の制限に関するデータをトレーニングすることで見たパターンに基づいて応答を生成します。
a 2024研究 Binder et al。この制限を実験的に示しました。 AIモデルは、単純なタスクでの自分の動作を予測するように訓練される可能性がありますが、「より複雑なタスクまたは分散型の一般化が必要なタスク」で一貫して失敗しました。同様に、 「再帰的内省」に関する研究 外部のフィードバックがなければ、自己修正の試みは実際にモデルのパフォーマンスを分解したことを発見しました。AIの自己評価により、事態が悪化し、良くなりません。
#なぜあなたは自分自身について話すためにチャットボットを信頼できないのですか