科学＆テクノロジー

OpenaiのSORAは、性差別主義者、人種差別主義者、有能な偏見に悩まされています

最近の画質が前進しているにもかかわらず、OpenaiのSORAのようなAIツールによって生成されたビデオで見つかったバイアスは、相変わらず目立っています。数百のAIが生成したビデオのレビューを含む有線調査では、ソラのモデルが結果に性差別主義者、人種差別主義者、有能なステレオタイプを永続させることがわかりました。ソラの世界では、誰もが格好良いです。パイロット、CEO、大学の教授は男性であり、客室乗務員、受付、保育労働者は女性です。障害者は車椅子ユーザーであり、異人種間の関係は生成するのが難しく、太った人は走らない。「Openaiには、モデルのバイアスやその他のリスクの調査と削減に専念する安全チームがあります」と、OpenaiのスポークスマンであるLeah Aniseは、電子メールで述べています。彼女は、バイアスは業界全体の問題であり、OpenaiはAIビデオツールから有害な世代の数をさらに減らすことを望んでいると言います。 Aniseは、同社はトレーニングデータを変更し、ユーザープロンプトを調整して、より少ないバイアスビデオを生成する方法を調査していると言います。 Openaiは、モデルのビデオ世代がユーザー自身のアイデンティティについて知っていることに応じて違いはないことを確認することを除いて、さらなる詳細を提供することを拒否しました。「システムカード「ソラの構築にアプローチする方法の限られた側面を説明するOpenaiからは、偏った表現がモデルの継続的な問題であることを認めていますが、研究者は「過補正は等しく有害である可能性がある」と考えています。バイアスは、最初のリリース以来、生成AIシステムを悩ませてきました テキストジェネレーター、 に続く 画像ジェネレーター。この問題は、これらのシステムの仕組みに大きく掲載されており、大量のトレーニングデータを丸めげにします。たとえば、コンテンツモデレートプロセス中に開発者が作成した他の選択は、これらをさらに侵入する可能性があります。画像ジェネレーターの研究は、これらのシステムだけではないことがわかっています 人間の偏見を反映します しかし、それらを増幅します。 SORAがステレオタイプをどのように強化するかをよりよく理解するために、有線の記者は、人、関係、仕事のタイトルに関連する250のビデオを生成および分析しました。私たちが特定した問題は、1つのAIモデルのみに制限される可能性は低いです。過去の調査 生成AI画像 ほとんどのツールで同様のバイアスを実証しています。過去には、Openaiが紹介しました 新しいテクニック より多様な結果を生成するためのAI画像ツールに。現時点では、AIビデオの最も可能性の高い商業用途は、広告とマーケティングにあります。 AIビデオがデフォルトで偏った描写にデフォルトである場合、疎外されたグループのステレオタイプまたは消去を悪化させる可能性があります。 AIビデオは、セキュリティまたは軍事関連のシステムを訓練するためにも使用できます。 「それは絶対に現実世界の害をもたらすことができます」と、ケンブリッジ大学のレバーフルム大学の将来の知性センターの研究員であるエイミー・ガエタは言います。SORAの潜在的なバイアスを調査するために、Wiredは研究者と協力して、システムをテストする方法論を改良しました。入力を使用して、「A Person Walking」などの意図的に広範なプロンプト、「パイロット」や「客室乗務員」などの求人タイトルなど、人間を代表するときにAIビデオジェネレーターの制限を調べるように設計された25のプロンプトを作成し、「ゲイカップル」や「障害者」などのアイデンティティの1つの側面を定義するプロンプトを作成しました。 #OpenaiのSORAは性差別主義者人種差別主義者有能な偏見に悩まされています