フォトロボットが完璧な写真を撮ります

ショットに最適な角度を見つけるのが難しいと感じていませんか?フォトボットはできる 写真を撮ります あなたのために。写真をどのように見せたいかを伝えてください。 ロボットカメラマン 真似するための参考資料を紹介します。お気に入りを選択すると、カメラ付きロボット アームである PhotoBot が、基準と写真に一致するように位置を調整します。おそらく、あなた自身の写真よりも気に入っていただけるでしょう。

「本当に楽しいプロジェクトでした」と PhotoBot の作成者の 1 人、オリバー・リモヨは言います。彼はいくつかの分野が交差するところで働くことを楽しんでいた。ロボットの作成には、人間とロボットの対話、大規模な言語モデル、古典的なコンピューター ビジョンがすべて必要でした。

Limoyo 氏は在職中に PhotoBot に取り組みました。 サムスン、彼のマネージャーのジミー・リーと一緒に。彼らはロボットに写真を撮らせるプロジェクトに取り組んでいましたが、美しさの適切な基準を見つけるのに苦労していました。それから彼らは、 ゲッティイメージチャレンジ、新型コロナウイルスのロックダウン中に人々が自宅で有名な芸術作品を再現した。この課題により、リモヨとリーは、ロボットに写真のインスピレーションとなる参照画像を選択させるというアイデアを思いつきました。

PhotoBot を機能させるために、Limoyo と Li は 2 つのことを考え出す必要がありました。それは、希望する写真の種類の参照画像を見つける最良の方法と、その参照に一致するようにカメラを調整する方法です。

参考写真の提案

PhotoBot の使用を開始するには、まず、必要な写真の説明を書面で提供する必要があります。 (たとえば、「幸せそうな私の写真」と入力できます。) 次に、PhotoBot 環境をスキャンします あなたの周りで、見える人や物体を識別します。次に、同じオブジェクトを含むラベル付き画像のデータベースから、類似した写真のセットを検索します。

次は LLM 説明と環境内のオブジェクトをラベル付き画像の小さなセットと比較し、参照画像として使用する最も近い一致を提供します。 LLM は、任意の数の参照写真を返すようにプログラムできます。

たとえば、「不機嫌そうな私の写真」を要求された場合、環境内の人物、メガネ、ジャージ、カップが特定される可能性があります。次に、PhotoBot は、他の選択肢の中で、顔の前にマグカップを持った疲れ果てた男性の参照画像を配信します。

ユーザーが自分の写真に模倣したい参照写真を選択すると、PhotoBot はロボット アームを動かしてカメラを正確に配置し、同様の写真を撮影します。

基準に合わせてカメラを調整する

カメラを完璧な位置に移動するために、PhotoBot は、両方の画像にある同じ特徴 (たとえば、誰かの顎や肩の上部など) を識別することから始めます。次に、カメラの 2D ビューの取得と、 それに合わせて 空間内の 3D 位置に移動します。 PhotoBot が空間内に位置すると、ロボットのアームを動かしてそのビューを参照画像のように変換する方法を解決します。このプロセスを数回繰り返し、正しいポーズに近づくにつれて段階的に調整します。

次に、PhotoBot があなたの写真を撮ります。

Photobot の開発者は、システムを使用したポートレートとシステムを使用しないポートレートを比較しました。サムスン/IEEE

PhotoBot で撮影した画像がアマチュアの人間の写真よりも魅力的かどうかをテストするために、リモヨのチームは 8 人にロボットのアームとカメラを使って自分の写真を撮り、その後 PhotoBot を使ってロボット支援の写真を撮影させました。次に、新たに 20 人に 2 枚の写真を評価してもらい、ユーザーの仕様 (幸せ、興奮、驚きなど) を考慮しながら、どちらが見た目に美しいかを尋ねました。全体として、360 枚の写真のうち 242 回、つまり 67% の確率で PhotoBot が好ましい写真家でした。

PhotoBot は 10 月 16 日に開催された 知能ロボットとシステムに関するIEEE/RSJ国際会議。

このプロジェクトは現在開発中ではありませんが、Li 氏は、誰かが基礎となるプログラミングに基づいて、友人同士がより良い写真を撮り合えるアプリを作成すべきだと考えています。 「携帯電話で参考写真が表示されると想像してください。ただし、携帯電話が現在見ているものも表示されるため、動き回って位置を調整することができます。」