チャットボットは、フォーマルな言葉で話すときに最も効果を発揮します。

多くの人がそうしているように、あまり堅苦しくない言葉で AI チャットボットと会話すると、その応答の精度が低下します。これは、チャットボットを使用する際に言語的に厳密になる必要があるか、AI が非公式に適応するようにトレーニングされる必要があることを示唆しています。

Amazon の Fulei Zhang と Zhou Yu は、人々が人間のエージェントとどのように会話を始めるのかを、大規模言語モデル (LLM) を利用したチャットボット アシスタントと比較して調べました。彼らは、クロード 3.5 ソネット モデルを使用して、さまざまな要素に基づいて会話をスコアリングしたところ、チャットボットと対話する人々は、人間に話しかけるときよりも文法が正確ではなく、礼儀正しくないことを発見しました。彼らはまた、わずかに狭い範囲の語彙を使用しました。

たとえば、クロードから導き出されたスコアによると、人間と人間のやりとりは、チャットボットとの会話よりも 14.5 パーセント丁寧かつ形式的であり、5.3 パーセント流暢で、1.4 パーセント語彙が多様でした。

「ユーザーは人間とLLMの会話の中で自分の言語スタイルを適応させ、より短く、より直接的で、堅苦しくなく、文法的により単純なメッセージを生成します」と著者らはインタビューの要請に応じなかったが、論文でこの研究について書いている。 「この動作は、LLM チャットボットのユーザーのメンタル モデルによって形成されている可能性があります。[s] 社会的に敏感でないか、微妙な解釈ができないからです。」

しかし、この非公式なやり方にはマイナス面があることが分かりました。 2 回目の評価では、研究者らは、13,000 件の実世界の人間対人間の会話で Mistral 7B と呼ばれる AI モデルをトレーニングし、それを使用して AI チャットボットに送信された 1,357 件の実世界メッセージを解釈しました。彼らは、両方のデータセット内の各会話に、限られたリストから抽出された「意図」を注釈として付け、それぞれのケースでユーザーが何をしようとしていたかを要約しました。しかし、ミストラル AI は人間対人間の会話で訓練されていたため、二人は、AI がチャットボットの会話の意図を正しくラベル付けするのに苦労していることに気づきました。

その後、Zhang 氏と Yu 氏は、ミストラル AI の理解を改善するためにさまざまな戦略を試みました。まず、彼らは Claude AI を使用してユーザーのより簡潔なメッセージを人間のような散文に書き換え、それを使用してミストラル モデルを微調整しました。これにより、デフォルトの応答と比較して、インテント ラベルの精度が 1.9 パーセント低下しました。

次に、彼らはクロードを使って「最小限の」書き換えを行いました。これはより短く、より率直なものでした（たとえば、今後の旅行の旅行と宿泊のオプションについて尋ねるために「来月パリ。フライト ホテルは？」など）が、これによりミストラルの精度が 2.6 パーセント低下しました。より形式的で多様な表現を使用して「強化された」代替案を書き直した場合も、精度が 1.8% 低下しました。最小限の書き換えと強化された書き換えの両方で Mistral モデルをトレーニングした場合にのみ、パフォーマンスが 2.9% 向上しました。

マサチューセッツ州ベントレー大学のノア・ジャンシラクサ氏は、人々がボットに対して人間に対して行うのとは異なる話し方をすることに驚かないが、それは必ずしも避けるべきことではない、と語る。

「人々がチャットボットと他の人間とでは異なるコミュニケーションをするという発見は、チャットボットの欠点として組み立てられがちですが、私はそうではなく、人々がボットと会話していることを認識し、それに応じて行動を適応させるのは良いことだと主張します」とジャンシラクーサ氏は言う。 「人間とボットの間のギャップを取り除こうと執拗に努力するよりも、そのほうが健全だと思います。」