AI はビデオゲームチャットにおけるオンラインハラスメントをどのようにターゲットにしているか

オンライン ゲームの出現以来、マイクやキーボードを奪い、有害な行為や嫌がらせを吐き出す悪いリンゴが存在します。競争力があるかどうかにかかわらず、主要なオンライン ゲームをプレイしたことがあるなら、おそらく何らかのハラスメントの標的になったことがあるでしょう。ありがたいことに、Modulate AI のような企業は、現在も続くオンライン嫌がらせの量に対処し、軽減したいと考えています。

悲しいことに、ゲームにおけるハラスメントは業界のオンライン文化と同義になっています。あらゆる形態の言葉による虐待が毎日オンラインで行われています。あなたが有色人種、女性、または LGBTQ2S+ コミュニティの一員である場合、これらの形式の嫌がらせは、中傷、性差別、その他の憎しみに満ちたコメントの形で起こります。最も人気のあるオンライン ゲームには、次のようなものがあります。 カウンターストライク 2、リーグ・オブ・レジェンド、コール オブ デューティ、など、虐待の最悪のコミュニティのいくつかが潜んでいます。 Modulate AI が入手したデータによると、プレイヤーの 67% が、他のプレイヤーが有害な行動を示した場合、ゲームのプレイをやめる可能性が高いと回答しています。一部のスタジオでは、独自の施行とポリシーを導入しています。ただし、Modulate AI は、プレーヤーを保護し、より良いオンライン エクスペリエンスを促進するための総合的なソリューションで多くのスタジオを支援しています。

Modulate AI は、2020 年に ToxMod の構築を開始しました。Modulate AI のテクノロジーは、世界中で何百万人もの人がプレイする多くの人気ゲームのバックグラウンドで実行されています。アマゾン ウェブ サービス (AWS) を利用した Modulate AI は、高度な機械学習テクノロジーを使用してゲーム内のボイスチャットを分析し、悪い動作や有害な動作にフラグを立てます。このテクノロジーを使用すると、Modulate AI は会話の微妙なニュアンスを監視して、モデレータがそのような嫌がらせを警告し、ストライキや禁止を適切に実行できるように支援します。 Modulate AI の COO である Terry Chen と会社 CTO である Carter Huffman と話したところ、嫌がらせや有害な行為のデータベースを維持し、誤検知にフラグを立て、有害性の検出を局所的に行うことにおけるハードルがあることがわかりました。

ゲームにおけるオンラインハラスメントはあらゆる形で発生します。残念なことに、友人との時間を楽しんだり、競争環境で数回の簡単なラウンドを楽しもうとしているプレイヤーにとって、中傷やその他の発言は一般的になっています。 Modulate AI は、そこにあると予想されるフレーズのデータベースを構築しました。ただし、ゲーム人口は非常に多様で、年齢層も同様に幅広いです。もちろん、これにより、新しい方言、スラング、その他のデータ ポイントを特定する際にいくつかの問題が生じます。

「新しい言語にローカライズする場合、非常に多くの文化的ニュアンスを理解する必要があります」とチェン氏は説明します。 「多くの言葉は無害に見えますが、多くの意味や邪悪な意味を持っています。私たちもポジティブさを検出したいので、彼らは時々ふざけています。私たちは実際に、それぞれの言語で児童心理学者、言語学者、社会社会学者と協力しています。現在、約 18 言語をサポートしていますが、さらにいくつかの言語の開発に取り組んでいます。」

ToxMod は何よりもまず Modulate AI のテクノロジーによって実行されますが、同社はサポートのためにサードパーティの請負業者を活用しています。世界的な方言を考慮するため、Modulate AI は有害なコンテンツにフラグを立てる際に適切な措置が考慮されていることを精査し、確実に行う必要があります。さまざまな方言や語形変化を理解するということは、Modulate AI が、Riot Games、Infinity Ward、Rockstar Games、Lucky VR などのゲーム開発者に、オンラインのハラスメントや有害性に対するより正確なフラグを提供できることを意味します。オンライン ゲームでは、興奮した瞬間にプレイヤー同士が罵り合いの言葉を交わすのが一般的です。単語が使用されているコンテキストと語尾変化を理解することで、誤検出の検出を回避できます。

「当社にはデータラベル付け請負業者のチームがあり、協力して連絡を取り、トレーニングを行っています」とハフマン氏は説明します。 「私たちは世界中の言語とその言語の方言を話す人を探しています。そのような採用や契約のプロセスの一環として、その面接の一部は「どのような種類のゲームに精通していますか?」と尋ねるようなものです。あなたが最もよく知っている方言は何ですか?こういったもの。私たちは、一緒に働き、探している人々のグループ全体のようなものを持っており、チームの誰も持っていない専門知識を持っているように特別に分散されています。」

「私たちはそれを、少なくとも [a group] 主要言語および主要地域ごとに。たとえばメキシコ対スペイン。少なくともその地域の方言を流暢に話せる人がチームにいること。 [Someone] データのラベル付けを手伝ってくれる請負業者とより適切に連携できるのは誰でしょう。データのラベル付けは、機械学習モデルのためだけでなく、毒性検出のための転写のためにも行われます。私たちはそれをモデルのトレーニングだけでなく、同類、モデレーター、トレーニングなどの参考資料としても使用します。」

ToxMod は、機械学習テクノロジーを使用して、ゲーム内で発生する有害な音声会話を積極的に検出できます。 AI テクノロジーは、毒性分析のために有害な可能性のある会話にフラグを立てます。これにより、開発者スタジオは積極的に行動を起こし、オンライン コミュニティをクリーンアップすることができます。このプロセスの難しさは、条件のバンクを維持することです。また、ToxMod が語尾変化や特定の単語の使用方法を適切に分析することも重要です。

「私たちは、行動規範違反の可能性のあるさまざまなカテゴリの行動を検出し、適切なレベルの重大度でエスカレーションすることが私たちの責任であると考えています」とハフマン氏は私に語ります。 「つまり、奥深さと大人向けの言葉のカテゴリがあります。私たちは、正しくエスカレートし、成人向けの言葉での冒涜的な表現を防止することが私たちの仕事であると考えています。スタジオはそれをカスタマイズできますよね？私たちの標準的な冒涜カテゴリとスタジオを見せたら [disagree]、意見やカスタマイズの余地があります。しかし、私たちはそれを正確に見積もることが私たちの責任であると考えています。」

「ですから、新しい中傷が現れてゲーマー用語集の一部になったとき、それを正しくエスカレートするのが私たちの仕事です。私たちが見逃した場合、スタジオは「このコンテンツの一部が表示されていますが、フラグを立てていません」と言うと、それをキャッチして、そのフィードバックを受け取ります。 「この新しい用語を発見しました。検討してください。」というほどではありません。それをエスカレーションし、必要に応じて対処できるようにするのが私たちの仕事です。」

これまでに見られた最大の成功事例の 1 つは、以下を中心に展開されています。 コール・オブ・デューティ、長い間、有害なボイスチャットコミュニティとして悪名が高いです。 Modulate AI が説明しているように、ToxMod がアクティブになっている期間の長さが、ゲームの毒性の減少レベルを決定します。同社は、毒性は最初の1週間でおよそ30～40％減少すると説明している。引き続き 70% 削減に向けて進んでいきます。 「私たちが実際に大規模に行っている露出の削減は、リテンションに直接結びついています。フランチャイズに新規または復帰したプレーヤーの維持率が向上します。彼らは戻ってきて、記憶しているよりも毒性の低い環境にさらされ、より長く滞在します。」

「私たちが協力したあるスタジオは、毒性に対してかなり厳しい罰則を課し、非常に高いレベルの信頼と高い立証責任を課してスタートしました。私たちは彼らと協力して、このような厳しい罰則を設けずにこの行動に影響を与え、毒性を軽減できる方法についてさまざまな戦略を考えていました。メッセージが届いたり、試合や部屋から追い出されてすぐに再参加できるなどの軽いタッチでも、「おい、君は行動規範に違反することをしていて、その流れを中断しているだけだ」ということを示しています。これにより、会話で認められる有害な量を 80 パーセント、さらには 90 パーセント削減でき、誰かを禁止する必要もありません。」

ToxMod を使用することで、Modulate AI は特定の開発スタジオと連携し、オンライン コミュニティを改善する方法についてアドバイスすることができます。各開発者は、独自のオンライン ポリシー内で違反に対する措置を講じる方法を選択できます。彼らはアカウントをシャドウバンしますか?一定回数のストライキの後、プレイヤーをゲームから強制的に禁止しますか?場合によっては、開発者が IP 禁止令を出し、プレーヤーが新しいアカウントを作成したり、オンライン コミュニティに再参加したりすることを制限することもあります。

オンラインの有害性と闘うために、ゲーム業界内でやるべきことはまだたくさんあります。ただし、Modulate AI によって行われている作業は、言葉では言い表せないほど重要です。社会から疎外されたグループ、若いプレイヤー、そして正直に言うと誰でも、お気に入りのゲームにログインして嫌がらせを受けることを期待する理由はありません。 ToxMod にはさまざまなプラグインが同梱されており、さまざまなゲーム エンジンや音声インフラストラクチャに対応できます。大規模なプロジェクトだけでなく、小規模な開発スタジオでも利用できます。 AWS を活用したサービスにより、収集および分析されたデータは匿名化され、ISO 27001 標準によって保護され、プレーヤーを保護します。

このインタビューは、言葉をわかりやすくするために編集されました。

画像クレジット: Modulate AI