Google のビジュアル検索はさらに複雑な質問に答えられるようになりました

レンズ検索は現在、AI のホットワードであるマルチモーダルになっており、ビデオ、画像、音声入力を組み合わせて検索できるようになりました。スマートフォンのカメラを物体に向け、画面上のフォーカス ポイントをタップし、レンズ アプリが結果を導き出すのを待つ代わりに、ユーザーはレンズを向けながら同時に音声コマンドを使用できます。あれは雲ですか？」 「そのスニーカーは何のブランドですか？どこで買えますか？」

また、Lens はリアルタイムのビデオ キャプチャ上で動作し始め、静止画像内のオブジェクトの識別を超えてツールを一歩前進させます。壊れたレコード プレーヤーがある場合、または自宅の故障した家電製品のライトが点滅している場合は、Lens で簡単なビデオを撮影し、生成 AI の概要を通じて、そのアイテムを修復する方法のヒントを確認できます。

I/Oで初めて発表されたこの機能は実験的なものとみなされ、Googleの検索ラボにオプトインしたユーザーのみが利用できると、18年間Google社員でありLensの共同創設者であるRajan Patel氏は述べている。 Google レンズの他の機能である音声モードと拡張ショッピングは、より広範囲に展開されています。

Google が「ビデオ理解」機能と呼んでいるこの機能は、いくつかの理由で興味深いものです。現在はリアルタイムでキャプチャされたビデオで動作しますが、Google がキャプチャされたビデオに拡張した場合、個人のカメラロールにあるか、Google のような巨大なデータベースにあるかに関係なく、ビデオのリポジトリ全体がタグ付け可能になり、圧倒的にショッピング可能になる可能性があります。

2 番目の考慮事項は、このレンズの機能です。 Google の Project Astra といくつかの特徴を共有しています、今年後半に利用可能になる予定です。 Astra は、Lens と同様に、マルチモーダル入力を使用して、携帯電話を通じて周囲の世界を解釈します。この春、Astra のデモの一環として、同社はスマート グラスのプロトタイプを披露しました。

別途、 Meta はその長期ビジョンで話題を呼びました 私たちの拡張現実の未来のために、 つまらない眼鏡をかけた定命の者たち 周囲の世界をスマートに解釈し、ホログラフィック インターフェイスを表示できます。もちろん、Google はすでにこの未来を実現しようとしています。 グーグルグラス （これは、Meta の最新ピッチとは根本的に異なるテクノロジーを使用しています）。 Lens の新機能と Astra の組み合わせは、新しい種類のスマート グラスへの自然な流れとなるでしょうか?