科学＆テクノロジー

AIカスタマーサービスチャットボットが会社のポリシーを構成し、混乱を引き起こしました

月曜日に、人気を使用する開発者 aiパワー コードエディター カーソル 奇妙なことに気づきました。マシン間の切り替えが即座にログアウトし、複数のデバイスを使用するプログラマーの共通のワークフローを破りました。ユーザーがカーソルのサポートに連絡したとき、「サム」という名前のエージェントが、新しいポリシーの下での行動が予想されると言った。しかし、そのような政策は存在しませんでした、そして、サムはボットでした。 AIモデルはポリシーを上げ、文書化された苦情とキャンセルの脅威の波を引き起こしました ハッカーニュース そして reddit。これは、AIの最新のインスタンスをマークします コンパブレーション （また 「幻覚」と呼ばれる）潜在的なビジネス上の損害を引き起こします。 Confabulationは、AIモデルがもっともらしいものの、誤った情報を発明する「創造的なギャップを埋める」応答の一種です。不確実性を認める代わりに、AIモデルは、ゼロからの情報を製造することを意味する場合でも、もっともらしい、自信のある反応の作成を優先することがよくあります。これらのシステムを人間の監視なしに顧客向けの役割で展開する企業の場合、結果は即時かつコストがかかる可能性があります。欲求不満の顧客、ダメージされた信頼、そしてカーソルの場合、サブスクリプションをキャンセルする可能性があります。それがどのように展開したかこの事件は、Brokentoasterovenという名前のRedditユーザーが始まったときに始まりました 気づいた デスクトップ、ラップトップ、リモート開発ボックスの間で交換している間、カーソルセッションは予想外に終了しました。「1つのマシンでカーソルにログインすると、すぐに他のマシンでセッションが無効になります」とBrokentoasterovenは、 後で削除されました R/カーソルモデレーターによって。 「これは重要なUX回帰です。」混乱して欲求不満のユーザーは、カーソルサポートにメールを書き、SAMからの返信をすぐに受け取りました。反応は決定的で公式に聞こえ、ユーザーはサムが人間ではないと疑いませんでした。最初のReddit投稿の後、ユーザーは実際の政策変更の公式確認として投稿を受けました。これは、多くのプログラマーの日常生活に不可欠な習慣を破ったものです。 「マルチデバイスワークフローは、開発者のテーブルステークです」と1人のユーザーが書いています。その後まもなく、数人のユーザーがRedditでサブスクリプションキャンセルを公開し、存在しないポリシーを理由として引用しました。 「私は文字通り私のサブをキャンセルしたばかりです」と元のRedditのポスターを書き、彼らの職場は今や「完全にそれをパージしている」と付け加えました。他の人たちは、「うん、私もキャンセルしています、これはアシニンです。」その後すぐに、モデレーターはRedditスレッドをロックし、元の投稿を削除しました。「ねえ！私たちにはそのような政策はありません」 書いた Redditのカーソル代表者は、3時間後に返信します。 「もちろん、複数のマシンでカーソルを自由に使用できます。残念ながら、これは最前線のAIサポートボットからの誤った応答です。」ビジネスリスクとしてのAIのコンパブレーションカーソルの大失敗はaを思い出します 同様のエピソード 2024年2月から、エアカナダが独自のチャットボットによって発明された払い戻しポリシーを尊重するよう命じられたとき。その事件で、ジェイク・モファットは祖母が亡くなった後、エア・カナダの支援に連絡し、航空会社のAIエージェントは誤って彼に誤って彼に誤って死別率を申請できると彼に言った。エアカナダが後に払い戻し要求を拒否したとき、会社は「チャットボットは独自の行動に責任を負う別の法人である」と主張した。カナダの裁判所は、この弁護を拒否し、企業はAIツールによって提供される情報に対して責任があると判断しました。エアカナダが行ったように責任に異議を唱えるのではなく、カーソルはエラーを認め、修正するための措置を講じました。カーソルの共同設立者マイケル・トゥルエルは後に ハッカーのニュースに謝罪した 存在しないポリシーに関する混乱のために、ユーザーが返金され、問題は一部のユーザーのセッションの無効化の問題を意図せずに作成したセッションセキュリティを改善するためのバックエンドの変更に起因することを説明します。「電子メールサポートに使用されるAIの応答は、そのように明確にラベル付けされています」と彼は付け加えました。 「私たちは、電子メールサポートの最初のフィルターとしてAIアシスト応答を使用しています。」それでも、この事件は、サムと交流した多くの人々が明らかにそれが人間であると信じていたため、ユーザーの間で開示に関する長引く質問を提起しました。 「人のふりをしているLLMS（あなたはそれをサムと名付けました！）であり、そのようにラベル付けされていないことは、明らかに欺cept的であることを意図しています」と1人のユーザー ハッカーニュースに書いた。カーソルは技術的なバグを修正しましたが、このエピソードは、適切な保護と透明性なしに顧客向けの役割でAIモデルを展開するリスクを示しています。開発者にAIの生産性ツールを販売する企業にとって、独自のAIサポートシステムにコアユーザーを疎外したポリシーを発明することは、特に厄介な自傷の傷を表しています。「幻覚はもはや大きな問題ではないと言うために本当に一生懸命努力しているという皮肉があります」とあるユーザー ハッカーニュースに書いた、「そして、その物語から利益を得る会社は、それによって直接傷つきます。」この物語はもともと登場しました Ars Technica。 #AIカスタマーサービスチャットボットが会社のポリシーを構成し混乱を引き起こしました