GoogleのProject Astraはスマートフォンやスマートグラスを通じて環境に関するあらゆる質問に答えます

マドリッド、18ディック。 (ポータル/EP) –

グーグル は、汎用人工知能 (AI) アシスタントのプロトタイプが提供する機能の一部を示しました。 プロジェクト・アストラ それは、統合されているかどうかに関係なく、 「スマートフォン」 または一部で スマートグラスユーザーの周囲の環境とユーザーの行動をリアルタイムで考慮して、ユーザーの質問に答えることができます。

テクノロジーの巨人は、Google DeepMind と共同で Project Astra をその枠組みの中で発表しました。 Google I/O 2024 年次イベント。当時、彼はこれがジェミニ上に構築される将来のマルチモーダルユニバーサルアシスタントであると示唆しました。 スマートフォンのカメラを通して世界を見る ユーザーがそれについて質問できるようにします。

先週、 グーグルが発表 大規模言語モデルの新しいバージョン ジェミニ2.0、 これには、他の新機能の中でも特に、レイテンシとパフォーマンスの改善が統合されています。現在は実験モデルで提供されています ジェミニ 2.0 フラッシュこれにより、Gemini 1.5 の速度が 2 倍になり、マルチモーダル機能が向上します。 アストラプロジェクトに統合されました。

この枠組みでは、技術的な 共有しました 彼らの アストラ計画の進捗と マルチモーダル アシスタントが提供する機能の一部は、スマートフォンを通じて、またはスマート グラスに統合されて提供されます。

の場合 Pixel スマートフォンで Project Astra、 ユーザー 音声コマンドとカメラを使用してアシスタントと対話します環境の映像と、ユーザーが声に出して発したコメントやリクエストの両方をリアルタイムで理解することができます。

これを行うには、ユーザーはこれで十分です 情報を取得したいものにカメラの焦点を合わせますたとえば、路上にある記念碑、食べ物、電化製品などを観察し、同時に関連する質問をします。したがって、アシスタントは記念碑に関する関連情報を提供することができます。 成分を詳しく説明する 料理がどのように調理されたか、またはどのプログラムが最も適しているかを説明します 特定の衣類を洗濯機で洗います。

アシスタントの応答は、スマートフォンの画面に書かれたものと、 音声応答ユーザーとのスムーズな会話のために。

同様に、アシスタントも次のことができます。 検索または推奨を実行する たとえば、紙に書かれたレストランのリストに関連するもので、単にそのリストに注目するだけでなく、 情報を思い出す 後でユーザーに迅速かつ簡単に提供できるようにします。

スマートグラスに統合された ASTRA プロジェクト

の場合 スマートグラスに統合されたAstraプロジェクト、 アシスタントはスマートフォンと同じ機能を提供しますが、より快適な方法で、 メガネに内蔵されたカメラを通して、 ユーザーがどこを見ても、アシスタントは電話を使用しなくても同じものを見ることができます。

したがって、この形式では、実行中のアクティビティに関係なく、音声コマンドを使用していつでもアシスタントを使用できます。 Google に代表されるように、 ユーザーが自転車に乗っているときに使用します～についての質問に答える ルートや近くの場所に関する疑問をリアルタイムで確認し、 現在の場所に基づいて。

プロジェクト・アストラは今のところ、 ユニバーサルAIアシスタントのプロトタイプ まだ開発中であるため、これらは Google が将来ユーザーに提供する予定の機能の一部です。