大切な人の声を悪用した恐るべきAI詐欺

最近の夜、ブルックリンの自宅でロビンという女性が夫のスティーブの隣で眠っていたとき、ベッドサイドテーブルの上で彼女の携帯電話が鳴りました。 ロビンは 30 代半ばで、汚れたブロンドの長い髪をしています。 彼女は高級住宅を専門とするインテリア デザイナーとして働いています。 夫婦はその夜、コブルヒルのナチュラルワインバーに出かけ、数時間前に帰宅して就寝していた。 二人の幼い子供たちは廊下の先にある寝室で眠っていた。 「いつも片耳が起きているような感じなんです」とロビンは最近私に語った。 電話が鳴ると、彼女は目を開けて発信者番号を確認しました。それは義理の母、モナでした。真夜中を過ぎても電話はありませんでした。 「たぶん、お尻のダイヤルだと思うんです」とロビンは言った。 「だから私はそれを無視して、寝返りを打ってベッドに戻ろうとします。 しかし、その後、それが再び現れるのがわかります。」

彼女が電話を取ると、その向こうでモナが泣き叫びながら「無理だ、無理」という言葉を繰り返す声が聞こえた。 「彼女は何か恐ろしい悲劇的なことが起こったと私に伝えようとしているのだと思いました」とロビンは私に語った。 モナと夫のボブは 70 代です。 彼女は退職したパーティープランナーで、彼は歯科医です。 彼らは暖かい季節はメリーランド州ベセスダで過ごし、冬はボカラトンでピックルボールやカナスタをします。 ロビンが最初に思ったのは、事故が起きたということでした。 ロビンの両親もフロリダで冬を過ごしており、ロビンは自動車事故に遭う両親の姿を思い浮かべた。 「人間の脳は真夜中に奇妙なことをします」と彼女は言いました。 その後、ロビンは電話でボブの声のように聞こえる音を聞きました。 （家族はプライバシーを保護するために名前を変更するよう要求した。）「モナ、電話を渡して」ボブの声がした、そして「スティーブを呼んで。」 スティーブを連れて来い。」 ロビンは、これを、彼女が一人でいる間は彼女に言いたくなかったということを、彼らの真剣さのもう一つの表れであると受け取りました。 彼女はスティーブを揺さぶって起こしました。 「あなたのお母さんだと思います」と彼女は彼に言いました。 「彼女は何かひどいことが起こったと私に話していると思います。」

スティーブは、短く刈り込んだ髪とアスリートの体格を持ち、法執行機関で働いています。 目を開けるとロビンがパニック状態に陥っていた。 「彼女は叫んでいました」と彼は思い出した。 「彼女の家族は全員死んだと思った。」 電話を取ると、電話の向こうからおそらく南部人のリラックスした男性の声が聞こえた。 「警察に通報するつもりはないよ」と男性は言った。 「あなたは誰にも言うつもりはありません。 お母さんの頭に銃を突きつけて、言うことをきかないとお母さんの脳を吹き飛ばしてやる。」

スティーブは自分の電話を使って人質交渉の経験がある同僚に電話した。 同僚はミュートになっていたため、通話は聞こえますが、聞こえませんでした。 「聞こえますか？？」 スティーブは彼にテキストメッセージを送りました。 “どうすればいいですか？” 同僚はこう返信した。「メモを取っている。 話を続ける。” スティーブさんの考えは、会話を続けて暴力を遅らせ、有益な情報を聞き出そうとすることであったと語った。

「彼女の声が聞きたいです」とスティーブは電話の男性に言いました。

男は拒否した。 「もしまたそんなことを聞いたら、彼女を殺します」と彼は言った。 「あなたは狂っているのですか？」

「わかりました」とスティーブは言いました。 “なんでしょう？”

男は旅行代金を要求した。 彼は、Venmo 経由で 500 ドルを送りたいと考えていました。 「それは人間にとっては非常に小さな金額でした」とスティーブは思い出します。 「でも、これは当然私が支払うつもりです。」 話を聞いていたロビンは、誰かがスティーブの実家に押し入り、少額の現金を強奪しようとしたのではないかと推測した。 電話で、男性はスティーブに送金先のVenmoアカウントを教えた。 それはうまくいかなかったので、彼はさらにいくつか試し、最終的にうまくいくものを見つけました。 アプリは取引の目的を尋ねました。

「ピザの絵文字を入れてください」と男性は言いました。

スティーブが500ドルを送金した後、その男は女性の声（どうやらガールフレンドのようだ）で、お金は届いたがまだ十分ではないと言いました。 スティーブが母親を釈放してくれるか尋ねると、男性は女性が聞いているのにこの話をするのだと腹を立てた。 「おっと、おっと、おっと」と彼は言いました。 「ベイビー、後で電話するね。」 スティーブにとって、その意味は、女性が人質の状況について知らなかったということだった。 「それがさらに現実味を帯びたね」とスティーブは私に語った。 その後、男性はガールフレンドのチケットを手に入れるために追加で 250 ドルを要求した。 「赤ちゃんのママをここに連れて来なければなりません」と彼は言いました。 スティーブは追加の金額を送信し、それが処理されると、男性は電話を切りました。

この時点で約25分が経過していた。 ロビンは泣き、スティーブは同僚に話しました。 「君たちはよくやった」と同僚は言った。 彼は、モナの電話が明らかに侵害されているため、ボブとモナが安全であることを確認するためにボブに電話するように言いました。 数回試した後、ボブは電話を手に取り、モナに渡しました。 “家にいますか？” スティーブとロビンは彼女に尋ねました。 “大丈夫ですか？”

モナは大丈夫そうに聞こえましたが、彼らが何を話しているのかわかりませんでした。 「ええ、私はベッドにいます」と彼女は答えた。 “なぜ？”

人工知能 医療診断、天気予報、宇宙探査、さらには電子メールの作成やインターネットの検索などの日常的な作業に至るまで、私たちの生活のあらゆる側面に革命をもたらしています。 しかし、効率と計算精度が向上するにつれて、問題のパンドラの箱がやって来ました。 ディープフェイクビデオコンテンツはインターネット上で急増しています。 ロシアがウクライナに侵攻した翌月、ウクライナのヴォロディミル・ゼレンスキー大統領が軍隊に降伏するよう指示しているように見える動画がソーシャルメディア上に流出した。 今年の2月初旬、香港警察は、金融関係者が自分の会社のメンバーだと思われる人物とビデオ会議に参加した後、だまされて2,500万ドルを支払わせたと発表した。先輩スタッフ。 (実際にはそうではありませんでした。) ChatGPT のような大規模な言語モデルのおかげで、フィッシングメールもますます洗練されてきました。 一方、スティーブとロビンは、AI を使用して愛する人の声を複製する別の新しい詐欺の被害者になりました。 「私たちは今や不気味の谷を通過しました」とカリフォルニア大学バークレー校で生成AIと操作メディアを研究しているハニー・ファリド氏は私に語った。 「今では、ほぼ誰の声のクローンを作成して、ほぼ何でも言わせることができます。 そして、あなたが起こるだろうと思っていることが、まさに現実に起こっているのです。」

もちろん、人間の声を真似するロボットは新しいものではない。 1984 年、Apple コンピュータは、独自の小さなロボットの声でテキスト ファイルを読み取ることができる最初のコンピュータの 1 つになりました。 「こんにちは、私はマッキントッシュです」とスティーブ・ジョブズ氏との発表会でスクワットマシンがライブの聴衆に宣言した。 「あの袋から出られるのは確かに素晴らしいね。」 このコンピューターは、当時の Apple の主要な競合他社を攻撃し、「私が初めて IBM メインフレームに出会ったときに考えた格言を皆さんと共有したいと思います。持ち上げられないコンピューターを決して信頼してはなりません。」 2011 年、Apple は Siri をリリースしました。 「スタートレック」のトーキング・コンピューターにインスピレーションを得たこのプログラムは、「スティーリー・ダンを演じて」、あるいは「ママに電話して」などの正確なコマンドを解釈し、限られた語彙で応答することができました。 3 年後、Amazon は Alexa をリリースしました。 合成音声が私たちと同居していました。

それでも、数年前まで、合成音声の進歩は頭打ちになっていました。 彼らは完全に説得力のあるものではありませんでした。 「Siri や GPS のより良いバージョンを作成しようとしている場合、私が気にするのは自然さです」とファリド氏は説明しました。 「これは人間のように聞こえますか？この不気味な半人間、半分ロボットのものとは違いますか？」 特定の声を複製するのはさらに困難です。 「音を出すだけでなく、 人間」とファリドは続けた。 「私は次のように言わなければなりません あなた」 しかし近年、より多くの資金、より多くのデータ、そして重要なのは、オンライン上の音声録音の宝庫、そして音声生成に使用される基盤となるソフトウェアの画期的な進歩によって、この問題は恩恵を受け始めました。 2019年、これが実を結び、トロントに拠点を置くDessaというAI企業がポッドキャスターのジョー・ローガンの声のクローンを作成した。 （当時、ローガンはインスタグラムで「畏敬の念」と受け入れを表明し、「未来は本当におかしなことになるよ、みんな」と付け加えた。）しかし、デッサは多額の資金と、ローガンの非常に利用可能な声を何百時間も必要とした。彼らの製品。 彼らの成功は一度限りのものでした。

しかし2022年、ニューヨークに本拠を置くイレブンラボという会社が、事実上あらゆる音声の印象的なクローンを迅速に生成するサービスを発表した。 呼吸音が組み込まれており、24 を超える言語のクローンを作成できました。 イレブンラボのテクノロジーは現在広く利用可能です。 「アプリにアクセスして、月に 5 ドルを支払い、誰かの声を 45 秒間流して、その声のクローンを作成するだけです」とファリド氏は私に言いました。 同社の評価額は現在10億ドルを超えており、他のビッグテック企業もこれを僅差で追いかけている。 昨年デビューした Microsoft の Vall-E クローン作成プログラムの設計者は、7,000 人以上の話者による 6 万時間の英語オーディオブックのナレーションを使用しました。 Vall-E は一般には公開されていないが、伝えられるところによると、わずか 3 秒のサンプルで話者の音声と「音響環境」を再現できるという。

音声クローン技術が一部の生活を改善したことは間違いありません。 Voice Keeper は、現在、ALS、パーキンソン病、咽頭がんなどの声を奪われる病気に苦しむ人々の声を「保管」し、後でテキストを通じて自分の声で会話を続けることができるようにしている数少ない企業の 1 つです。音声読み上げソフトウェア。 韓国の企業は最近、初の「AI追悼サービス」と称するサービスを開始した。これにより、人々は死後に「クラウドで暮らし」、将来の世代に「話す」ことができるようになる。 同社は、これによって「愛する人の死の痛みを和らげることができる」と示唆している。 このテクノロジーには、利他的ではないにせよ、他の法的な用途もあります。 有名人は、音声クローン プログラムを使用して、広告やその他のコンテンツを録音するために自分の声を「貸す」ことができます。たとえば、カレッジ フットボールの殿堂入り選手であるキース バイアーズ氏は、最近、オハイオ州のチキン チェーンに注文を取るために自分の声のクローンを使用させました。 映画業界も恩恵を受けています。 外国映画が米国で公開される際、映画の俳優たちは他の言語、たとえば英語を「話す」ことができるようになった。「つまり、字幕も吹き替えもなくなるということだ」とファリド氏は語った。 「誰もが好きな言語を話すことができます。」 複数の出版物を含む ニューヨーカー、イレブンラボを使用して、ストーリーの音声ナレーションを提供します。 昨年、ニューヨーク市長のエリック・アダムス氏は、AIを活用したロボコールを北京語とイディッシュ語（彼が話せない言語）で発信した。 (プライバシー擁護派はこれを「不気味な虚栄心プロジェクト」と呼びました。)

しかし、多くの場合、このテクノロジーは詐欺などの悪質な目的に使用されているようです。 TikTok、YouTube、Instagram には一般人が話しているビデオが無限に保存されているため、これは簡単になりました。 「それは簡単です」とファリド氏は説明した。 「子供の声を30秒か60秒撮ってイレブンラボにログインすると、すぐにおばあちゃんに孫の声で電話がかかってきて、『おばあちゃん、困ってるんです、事故に遭ったんです』って。 」 金銭的な要求は、ほとんどの場合最終的なものです。 ファリド氏は続けた。「問題は、悪人は99パーセントの確率で失敗する可能性があり、それでも大金持ちになるということだ。 それは数字のゲームだ。」 こうした違法行為の蔓延を測定するのは困難ですが、逸話によると、数年前から増加傾向にあります。 2020年、フィラデルフィアの企業弁護士が息子と思われる人物から電話を受け、妊婦が巻き込まれた交通事故で負傷し、保釈金として9000ドルが必要だと言われた。 （義理の娘が息子のオフィスに電話したとき、彼はそれが詐欺であることに気づいた。息子は無事に職場にいた。）1月、ニューハンプシャー州の有権者はジョー・バイデンの声からロボコールを受け、選挙で投票しないよう告げた。主要な。 （電話をかけたことを認めた男性は、イレブンラボのソフトウェアを使用したと述べた。）「その時は、それが彼の本当の声ではないとは考えもしなかった」とニューハンプシャー州の高齢の民主党員はAP通信に語った。 「それだけ説得力があったのです。」