Google CloudでBigQueryを使用した画像の埋め込みとベクトル検索に深く潜ります

編集者による画像| chatgpt

＃ 導入

私たちは皆そこにいました：オンラインストアを通して無限にスクロールし、それを見つけようとしています 完璧 アイテム。今日の稲妻のeコマースの世界では、即座の結果が期待されています。それがまさにAIが踏み込んで物事を揺さぶっている場所です。

この革命の中心には、イメージが埋め込まれています。それは単純なアイデアの派手な用語です：キーワードだけでなく、彼らによって製品を検索させることができます 視覚的な類似性。写真をアップロードするだけで、ソーシャルメディアで見た正確なドレスを見つけてください。このテクノロジーは、オンラインショッピングをより賢く、より直感的で、最終的には、企業がより多くの販売を行うのに役立ちます。

それがどのように機能するかを見る準備はできていますか？ BigQueryの機械学習機能の力を活用して、これらの信じられないほどの画像埋め込みを使用して独自のAI駆動型ドレス検索を構築する方法を紹介します。

＃ イメージの埋め込みの魔法

本質的に、画像埋め込みは、高次元空間で画像を数値表現（ベクター）に変換するプロセスです。意味的に似ている画像（たとえば、青いボールガウンやネイビーブルーのドレス）には、このスペースで互いに「近い」ベクトルがあります。これにより、単純なメタデータを超えた強力な比較と検索が可能になります。

このデモで使用して埋め込みを生成するドレスの画像をいくつか紹介します。

デモでは、Google Cloudに画像埋め込みのモデルを作成するプロセスを示します。

最初のステップは、モデルを作成することです：名前のモデル image_embeddings_model レバレッジを備えた作成されています multimodalembedding@001 endpoint in image_embedding データセット。

CREATE OR REPLACE MODEL 
   `image_embedding.image_embeddings_model`
REMOTE WITH CONNECTION `[PROJECT_ID].us.llm-connection`
OPTIONS (
   ENDPOINT = 'multimodalembedding@001'
);

オブジェクトテーブルの作成：BigQueryで画像を処理するには、呼ばれる外部テーブルを作成します external_images_table で image_embedding Googleクラウドストレージバケットに保存されているすべての画像を参照するデータセット。

CREATE OR REPLACE EXTERNAL TABLE 
   `image_embedding.external_images_table` 
WITH CONNECTION `[PROJECT_ID].us.llm-connection` 
OPTIONS( 
   object_metadata="SIMPLE", 
   uris = ['gs://[BUCKET_NAME]/*'], 
   max_staleness = INTERVAL 1 DAY, 
   metadata_cache_mode="AUTOMATIC"
);

埋め込みの生成：モデルとオブジェクトのテーブルが配置されたら、上記のモデルを使用してドレス画像の埋め込みを生成し、テーブルに保存します dress_embeddings。

CREATE OR REPLACE TABLE `image_embedding.dress_embeddings` AS SELECT * 
FROM ML.GENERATE_EMBEDDING( 
   MODEL `image_embedding.image_embeddings_model`, 
   TABLE `image_embedding.external_images_table`, 
   STRUCT(TRUE AS flatten_json_output, 
   512 AS output_dimensionality) 
);

＃ ベクトル検索の力を解き放ちます

画像埋め込みを生成すると、ベクター検索を使用して、探しているドレスを見つけます。正確なキーワードマッチに依存する従来の検索とは異なり、ベクター検索は、埋め込みの類似性に基づいてアイテムを見つけます。これは、テキストの説明または他の画像のいずれかを使用して画像を検索できることを意味します。

// テキストで検索をドレスアップします

テキスト検索の実行：ここで使用します VECTOR_SEARCH すべてのドレスの中で「青いドレス」を検索するためにビッグクエリ内で機能します。テキスト「青いドレス」はベクトルに変換され、ベクトル検索の助けを借りて、同様のベクトルを取得します。

CREATE OR REPLACE TABLE `image_embedding.image_search_via_text` AS 
SELECT base.uri AS image_link, distance 
FROM 
VECTOR_SEARCH( 
   TABLE `image_embedding.dress_embeddings`, 
   'ml_generate_embedding_result', 
   ( 
      SELECT ml_generate_embedding_result AS embedding_col 
      FROM ML.GENERATE_EMBEDDING 
      ( 
         MODEL`image_embedding.image_embeddings_model` , 
            (
               SELECT "Blue dress" AS content
            ), 
            STRUCT 
         (
            TRUE AS flatten_json_output, 
            512 AS output_dimensionality
         ) 
      )
   ),
   top_k => 5 
)
ORDER BY distance ASC; 
SELECT * FROM `image_embedding.image_search_via_text`;

結果：クエリの結果はAnを提供します image_link そして、各結果の距離。あなたが得る結果が、検索クエリと利用可能なドレスに関してあなたに最も近い試合を与える結果を見ることができます。

// 画像を介して検索をドレスアップします

次に、画像を使用して同様の画像を見つける方法を検討します。下の画像のように見えるドレスを見つけてみましょう。

テスト画像の外部テーブル：テスト画像をGoogleクラウドストレージバケットに保存し、外部テーブルを作成する必要があります external_images_test_table、検索に使用されるテスト画像を保存します。

CREATE OR REPLACE EXTERNAL TABLE 
   `image_embedding.external_images_test_table` 
WITH CONNECTION `[PROJECT_ID].us.llm-connection` 
OPTIONS( 
   object_metadata="SIMPLE", 
   uris = ['gs://[BUCKET_NAME]/test-image-for-dress/*'], 
   max_staleness = INTERVAL 1 DAY, 
   metadata_cache_mode="AUTOMATIC"
);

テスト画像の埋め込みを生成します：次に、この単一のテスト画像の埋め込みを使用して生成します ML.GENERATE_EMBEDDING 関数。

CREATE OR REPLACE TABLE `image_embedding.test_dress_embeddings` AS 
SELECT * 
FROM ML.GENERATE_EMBEDDING
   ( 
      MODEL `image_embedding.image_embeddings_model`, 
      TABLE `image_embedding.external_images_test_table`, STRUCT(TRUE AS flatten_json_output, 
      512 AS output_dimensionality
   ) 
);

画像埋め込みによるベクトル検索：最後に、テスト画像の埋め込みを使用して、ベクター検索を実行するために image_embedding.dress_embeddings テーブル。 ml_generate_embedding_result から image_embedding.test_dress_embeddings クエリの埋め込みとして使用されます。

SELECT base.uri AS image_link, distance 
FROM 
VECTOR_SEARCH( 
   TABLE `image_embedding.dress_embeddings`, 
   'ml_generate_embedding_result', 
   ( 
      SELECT * FROM `image_embedding.test_dress_embeddings`
   ),
   top_k => 5, 
   distance_type => 'COSINE', 
   options => '{"use_brute_force":true}' 
);

結果：画像検索のクエリ結果は、視覚的に最も似たドレスを示しました。一番の結果はそうでした white-dress 0.2243の距離で、続いて sky-blue-dress 0.3645の距離で polka-dot-dress 0.3828の距離。

これらの結果は、入力画像に基づいて視覚的に類似したアイテムを見つける能力を明確に示しています。

// 影響

このデモンストレーションは、Googleクラウドでの画像の埋め込みとベクトル検索が、視覚データとの相互作用方法に革命をもたらす方法を効果的に示しています。 「同様の」機能を可能にする電子商取引プラットフォームから、インテリジェントな視覚的資産の発見を提供するコンテンツ管理システムに対応できるように、アプリケーションは膨大です。画像を検索可能なベクトルに変換することにより、これらのテクノロジーは新しい次元のロックを解除し、より直感的で、強力で、視覚的にインテリジェントにします。

これらの結果はユーザーに提示され、目的のドレスをすばやく見つけることができます。

＃ AIドレス検索の利点

1. ユーザーエクスペリエンスの強化：視覚検索は、ユーザーが探しているものを見つけるためのより直感的で効率的な方法を提供します
2. 精度の向上：画像埋め込みは、視覚的な類似性に基づいて検索を可能にし、従来のキーワードベースの検索よりも関連性の高い結果を提供します
3. 売り上げの増加：顧客が望む製品を見つけやすくすることで、AIドレス検索はコンバージョンを促進し、収益を促進することができます

＃ ドレス検索を超えて

画像埋め込みの力とBigQueryの堅牢なデータ処理機能を組み合わせることにより、視覚コンテンツとの対話方法を変える革新的なAI駆動型ソリューションを作成できます。 eコマースからコンテンツの節度まで、画像の埋め込みとビッグクエリの力はドレスの検索を超えています。

他の潜在的なアプリケーションを次に示します。

• eコマース：製品の推奨事項、他の製品カテゴリの視覚的検索
• ファッションデザイン：トレンド分析、デザインのインスピレーション
• コンテンツモデレート：不適切なコンテンツの識別
• 著作権侵害検出：知的財産を保護するために視覚的に類似した画像を見つける

Nivedita Kumari 8年以上の経験を持つベテランデータ分析とAIの専門家です。彼女の現在の役割では、Googleのデータ分析カスタマーエンジニアとして、彼女は常にCレベルの幹部と関わりを抱いており、データソリューションのアーキテクチャソリューションを支援し、Google Cloudでデータと機械学習ソリューションを構築するためのベストプラクティスについてガイドします。 Niveditaは、イリノイ大学アーバナシャンペーン校のデータ分析に焦点を当てて、テクノロジー管理の修士号を取得しています。彼女は機械学習とAIを民主化し、技術的な障壁を分解して、誰もがこの変革的な技術の一部になることができるようにしたいと考えています。彼女は、チュートリアル、ガイド、意見、コーディングデモンストレーションを作成することにより、開発者コミュニティと知識と経験を共有しています。
LinkedInのNiveditaと接続します。