AI vs 斑点のないキリン

2023年7月31日、 斑点のないキリン 生まれたのは テネシー州のブライト動物園彼女はジャージー牛やオジロジカのように、顔と腹の周りにきれいな白いハイライトがある均一な茶色です。

画像認識アルゴリズムは、インターネット上のさまざまな画像や、いくつかの標準的な画像データセットでトレーニングされます。しかし、トレーニングデータには汚れのないキリンはおそらく存在しないでしょう。 最後に生まれたのはおそらく1972年に東京で生まれた汚れひとつないキリンの写真を前にしたら、彼らはどうするでしょうか？

私は 2 つの画像認識モデルを使用して、非常に簡潔で完全に非科学的な実験を行いました。これらのモデルを選んだのは、オンライン デモがあり、プログラムが回答する質問を選択できたからです。

私が試したモデルの一つは マルチモーダルインコンテキスト学習 (MMICL). やり取りをシミュレーションしてみました ビジュアルチャットボット しかし、すぐに繰り返しになってしまいました (上記の会話を参照)。 一度きりの質問をしてみたところ、より首尾一貫した回答が得られましたが、キリンの汚れのなさについては言及しませんでした。

私はまた、 指示-BLIP （デモを使用しました ここでホスト）。間接的な質問では、多くの流暢な詳細が得られましたが、その多くは不正確でした。椅子？灰色のシャツを着た人？ピンクの傘？

直接的な質問もあまり効果はありませんでした。私が最初に InstructBLIP に質問したとき:

「キリンの毛皮には何か変わったところがあるの？」

答えはこうでした:

「はい、写真のキリンは珍しい毛皮をしています。茶色のキリンで、斑点や茶色がかった灰色の典型的なキリンに比べると珍しい色です。この茶色の色合いはより珍しく、遺伝的要因または環境の影響によるものと考えられます。」

一瞬、アルゴリズムがこの画像の主要な特徴を正しく特定したのではないかと考えました。しかし、この質問を数回繰り返して試したところ、アルゴリズムは成功を繰り返すことはなく、次のような答えが返ってきました。

キリンの毛皮は、典型的な模様である茶色一色やまだら模様ではなく、まだら模様や縞模様のように見えるので珍しい。

キリンの毛皮は茶色と白という点で珍しいものです。多くのキリンは濃い茶色や黒色の毛皮を持っているので、この種にとって茶色と白の組み合わせは比較的珍しいものです。

はい、キリンの毛皮には何か変わったところがあります。具体的には、キリンは毛皮を着ているように見えます。これは珍しい、または予想外のように見えるかもしれませんが、飼育されているキリンの場合はよくあることです。

私は直接尋ねました：

キリンは縞模様ですか、まだら模様ですか、それとも無地ですか?

そして

キリンには縞模様があります。

ただし、答えは語順によって異なります。「spotted」または「plain」のオプションを最初に提示した場合、次のようになります。

私: キリンは斑点模様ですか、縞模様ですか、それとも無地ですか?
ボット: キリンは斑点があり、体に茶色と白の模様があります。

私は通常の模様の赤ちゃんキリンで実験を繰り返し、キリンの毛皮について同じ範囲の回答を得ました。さらに、「縞模様、斑点模様、無地」の中から「縞模様」を再び選択しました。

これらはひどい画像認識モデルなのでしょうか？ 珍しいことではありません。ちょっと調べてみた限りでは、 MMCL そして インストラクトBLIP 最新モデル（2023年8月現在）であり、 リーダーボード 画像に関する質問に答えるモデルたち。彼らのデモンストレーションページ（およびInstructBLIPの 紙) には、画像に関する完全かつ理にかなった回答を提供するモデルの例が満載です。

では、なぜ彼らは斑点のないキリンがそんなに下手なのでしょうか?

ここでは主に 3 つの要因が考えられます。

1. AI は、以前に見たことのある画像に対して最も優れたパフォーマンスを発揮します。 AI が物事を記憶するのが得意であることはわかっています。例やベンチマークの画像の一部は、これらのアルゴリズムが使用したトレーニング データセットに含まれている可能性もあります。「斑点のないキリン」は、キリンが珍しいだけでなく、インターネット上では新しい動物であるため、特に難しいかもしれません。
2. AI は異常なものを排除する傾向があります。 質問に対して最も可能性の高い答えを返すようにトレーニングされていますが、それが必ずしも最も正しい答えであるとは限りません。
3. 論文やデモンストレーションサイトでは、彼らの最高の成果が紹介されています。 一方、私が彼らの最悪の作品に焦点を当てているのは、それが面白いからであり、AI による画像認識に過度の信頼を寄せることについての警告の物語だからです。

キリンは 警告のミーム 画像認識では、初期のアルゴリズムは特に キリンがいない場所でキリンがいると報告する「斑点のないキリン」は、AI が明らかなことを見逃す可能性があるもう一つの例です。

ボーナス コンテンツ: DALL-E2 で斑点のないキリンを生成しようと試みましたが失敗しました。