ドナルド・トランプ大統領の政治的スピーチは最近、大規模な言語モデルの能力と制限のテスト場として機能しました。 4つの主要なスピーチに埋め込まれたメタファーを分析することにより、研究者はトランプの修辞的戦略についての洞察を得ただけでなく、政治的文脈における比ur的な言語を理解することに関して、ChatGPTのような人工知能システムの重要な弱点を明らかにしました。彼らの調査結果はで公開されています 心理学のフロンティア。
大規模な言語モデル、またはLLMは、人間の言語を理解し、生成するために訓練されたコンピュータープログラムです。彼らは、本、ウェブサイト、会話など、膨大な量のテキストを分析し、言葉や文の使用方法について統計的パターンを学習することで機能します。 ChatGptのようなLLMは、エッセイを書いたり、ドキュメントを要約したり、質問に答えたり、自然に感じる会話をしたりすることさえできます。
しかし、彼らは人間のように言語を本当に理解していません。代わりに、彼らはパターン認識に依存して、文で次に来る可能性のある言葉を予測します。これは、多くの状況で説得力のある結果につながる可能性がありますが、特に言語が抽象的または感情的に充電されている場合、モデルが意味を誤って解釈できることも意味します。
大規模な言語モデルが政治的演説でメタファーをどの程度検出できるかをテストするために、研究者は2024年半ばから2025年初頭までのドナルドトランプのスピーチのうち4つを選択しました。これらには、暗殺の試み、選挙後の勝利の発言、彼の就任演説、および議員へのスピーチを生き延びた後の共和党の指名受け入れスピーチが含まれます。これらのテキストは、合計28,000語を超える単語を選択しました。なぜなら、感情的に充電されたイデオロギー的に駆動された言語で満たされているため、メタファーを使用してサポーターと共鳴する方法で政治的な問題を組み立てることが多いためです。
研究者は、重要なメタファー分析と呼ばれる方法を使用してテキストを調べました。この方法は、比phorが政治的思考にどのように影響し、公共の態度を形作るかに焦点を当てています。次に、この方法をCHATGPT-4で使用するためにこの方法を調整し、モデルにステップバイステップのプロセスを実行するように促しました。スピーチのコンテキストを理解し、潜在的なメタファーを特定し、テーマごとに分類し、感情的またはイデオロギー的影響を説明します。
大規模な言語モデルは、中程度の成功を収めてメタファーを検出することができました。 138のサンプリングされた文のうち、119の比phor的な表現を正しく識別し、約86％の精度率を与えました。しかし、よく見ると、モデルの推論でいくつかの繰り返しの問題が明らかになりました。これらの問題は、複雑な人間のコミュニケーションを解釈しようとするときの人工知能の限界に関する洞察を提供します。
最も一般的な間違いの1つは、メタファーを、直mileなどの他の形式の表現と混同したことでした。たとえば、このモデルは、「ワシントンDC」というフレーズを誤って解釈しました。これは、文字通りの感情的に充電された比較としてより正確に説明されている場合、比phor的であると比phor的であると比phor的です。モデルはまた、単純な表現を過剰に分析する傾向がありました。
あるケースでは、「大胆な約束のシリーズ」というフレーズに比phor的なものとしてフラグを立て、そのような比fig的な意味が意図されていない場合に空間的な比phorとして解釈しました。モデルはまた、名前と技術用語を正しく分類するのに苦労しました。たとえば、イスラエルのミサイル防衛システムの名前である「アイアンドーム」を、固有名詞の代わりに比phorとして扱いました。
これらのミスステップは、LLMが表面レベルのパターンを検出できるが、しばしばコンテキストで意味を理解する能力が欠けていることを示しています。人間とは異なり、彼らは言語を理解するために、生きた経験、文化的知識、または感情的なニュアンスを利用しません。これは、政治的レトリックを分析するときに特に明らかになります。ここでは、比phorが共有された感情、歴史、アイデンティティを活用するためによく使用されます。
この調査では、共有テーマまたは「ソースドメイン」に基づいてメタファーを分類するモデルの能力もテストしました。これらのカテゴリには、力、動きと方向、健康と病気、人体などの概念が含まれます。たとえば、トランプは「私たちは一緒に立ち上がる」、「アメリカの輝かしい運命のロックを解除する」、「法と秩序を取り戻す」などのフレーズを頻繁に使用しました。これらのメタファーは、進歩、強さ、コントロールのアイデアを伝えるのに役立ちます。キャンペーンメッセージのキーテーマです。
ただし、このモデルは、料理や食品や植物など、あまり一般的ではない、またはより抽象的なカテゴリでパフォーマンスが低下しました。植物のカテゴリでは、関連するメタファーをまったく検出できませんでした。料理と食品では、いくつかの誤った肯定的なものを生み出し、人間のレビュアーが文字通りと判断したメタファーを特定しました。これらの結果は、LLMが馴染みのある頻繁に使用される比phorタイプを使用すると、より信頼性が高く、微妙な理解や文化的文脈を必要とする分野では信頼性が低いことを示唆しています。
研究が明らかにした別の問題は、LLMのパフォーマンスがプロンプトの書き方に大きく依存していることです。質問がどのように尋ねられるかの小さな変化でさえ、モデルが生成するものに影響を与える可能性があります。この安定性の欠如により、結果を再現することが難しくなり、政治的なスピーチのような敏感な資料を扱う際に、モデルの信頼性に対する自信を損ないます。
研究者は、大規模な言語モデルは比phorの分析において有望であるが、人間の専門知識に取って代わることにはほど遠いと結論付けています。微妙な分析を行うのではなく、微妙な微妙さを誤解したり、克服したり、ミスした微妙さを誤って解釈したり、克服したり、ミスしたりする傾向は、研究者を支援するのに最適です。特に、共有された文化的シンボル、深い感情的共鳴、暗黙のイデオロギーのフレーミングに依存することが多い政治的メタファーは、これらのシステムが理解するのが難しいと考えています。
研究、 “大規模な言語モデルは、具体化された認知言語表現の方法としてエンジニアリングを促進する：トランプの談話における政治的メタファーの事例研究、」は、Haohan Meng、Xiaoyu Li、Jinhua Sunによって執筆されました。
#研究ではChatGptの比phorとの闘いが明らかになりました