Lifecast (YCW22) – レイヤー化された深度写真と AI アートワークを使用したボリューメトリック ビデオ

「The Mandolorian」の仮想製品用の LED ウォール フィーブル」。 [source]

Lifecast では、時間枠の「ボリューメトリック」と 6DOF を同じ意味で使用しています。 この用語は気分を害する人もいれば、仮説を明確に伝える人もいます。 約に関する私たちの焦点では​​、時間フレームのボリュームの最も正確な言い方は、ボクセルまたは神経放射場 (NeRF) に相当する、3D 住居のすべてのポイントにいくらかの価値を割り当てる 3D シーン表現に対するものです。 それにもかかわらず、RGBD (陰影 + 深度計画) の写真とビデオを「ボリューメトリック」として参照し、ボリューメトリック ビデオ ツールが RGBD ビデオのかなり多くのストリームで動作するようにすることも標準に変わりました。 ここでの最も重要な要素は、RGBD が 6DOF レンダリングを許可することです。 現在発表しているのは、強化された宝の RGBD です。 生徒にとっては「膨張した等角層深度画像」です.

没入型とはどういう意味ですか? 一部の VR ビデオは、約 (球の半分) に焦点を合わせた 180 度の自己規律を所有していますが、他のものはふっくらした球を覆い隠しています。 私たちは半球で没入感を得るのに十分であると判断しますが、他の人はふっくらとした 360 球を求めます. 現在、180 度の轟音キーンに特化しているのは、ビデオを撮影するカメラから、処理と圧縮、リアルタイム再生まで、全体の意図を真剣に考えた場合のトレードオフの確実な役割を提示するためです。

成功すると、6DOFもさらにユーザーが通過できるという理由で 3DOF よりも没入型であり、実際の 3D レンダリングは立体的な疑似 3D よりも没入型です。 とはいえ、6DOF には、没入感を減らす多くの目に見えるアーティファクトが追加で含まれている可能性があります。 ビデオのすべてのフレームの写真のようにリアルな 3D モデルを増やすことでこれらのアーティファクトを克服し、制限されたハードウェアでリアルタイムにレンダリングする柔軟性を持つことは、PC の想像力と先見の明とグラフィックスにおける危険の始まりです.

ビデオは写真より魅力的です。 写真測量と NeRF に相当する新しい方法は、焦点の多くの機能からの写真の高い欲求から静的シーンの 6DOF 3D 表現を作成できます。 それにもかかわらず、全体的な定式化は、通過するシーンのコンポーネントに対しては機能せず、ビデオへの拡張は自明ではなく、実用性とのトレードオフを伴います。 実例として、イマーシブ ボリューム ビデオに関する Meta と Google の以前の研究では、24 台または 46 台のカメラを備えたカスタマイズされたデジカム アレイについて言及されており、シーンの多くの写真をすべて同時に所有することができます。 残念ながら、これだけの数のカメラを扱うのはあまり資格がありません.

Facebook- (現Meta’s) プロトタイプ Surround360 x24 、24台のカメラを搭載。

Google の 46 台のデジカメ アレイレイヤード メッシュ表現による穏やかな自己規律ビデオ」Broxton et al.

学術出版物は、しかし、VR のボリューメトリック ビデオは、所有、編集、または視聴する資格がないため、現時点では主流にはなっていません。 Lifecast は、均等な解像度の構成要素は次のもので構成されていると考えています:

それは、あなたが余暇に落ち着くことを想像するかもしれないということです。管理された雰囲気に熱心です.

合法的な既製のカメラを使用することに落ち着くことを想像するかもしれません.

キャプチャされる情報量は、法外に高くはありません.

情報はまた、安価な時間で実際のボリューム表現に処理されます.

ボリュメトリックビデオも、Adobe Premiere と同等の既存のビデオ改善ツールを使用して編集されます。

動画はまた、正常に圧縮され、担当者を介してストリーミングされました。

参加者は、最もきちんと評価され、広くアクセス可能なセル VR デバイスでリアルタイムに実行されます。次にデスクトップVRシステムを入れた時のGPUエネルギー

参加者はオンラインで実行されます (熱心なスタンドアロン機能ではありません).

参加者はアンリアルとチーム精神のイニシアチブにも混ざっています.

Lifecast のツールは、これらすべてのターゲットを念頭に置いて設計されています。 私たちの方法は、現代のほとんどのハードウェアの障壁の中で作業し、より多くの機械学習を行うことです.

最近では、デュアル魚眼レンズを搭載した Canon EOS R5 が、8K 解像度で映画のような品質の VR180 フッテージにさらに妥協する可能性のある、カテゴリーを再定義する VR デジカムとして登場しました。 私たちは、このデジカムまたは VR180 デジカムの任意のロットで動作するボリューメトリック ビデオを処理するためのブランド独自のパイプラインを開発しました (認定された VR180 カメラの一部のロットは、FXG の FM Duo と Z-Cam の K2 Pro で構成されています)。

映画のような品質の 8K VR180 ビデオを撮影できる位置にある、デュアル フィッシュアイ VR レンズを備えた Canon EOS R5。ポータブルで、すぐに入手できます。 穏やかなステージに相当するボリューメトリック ビデオへのさまざまなアプローチは、多くの (時には数百もの) カメラが人の集中的な 3D モデルに落ち着くために内側に向かっていると言います。 このようなシステムにはさまざまな言い方がありますが、好きなときにふっくらとした没入型シーンに落ち着くことができず、ボリュームビデオの撮影には適していません。 Azure Kinect に相当する RGBD 深度センサーは、最初から制限された機能を備えており、VR の焦点と解像度に関する自己規律が不十分です。 Lifecast は VR180 カメラを使用してボリューメトリック ビデオを作成します。VR180 カメラは、十分な解像度と VR 向けの焦点の自己規律を備えていますが、情報を処理するには、より多くの機械学習が必要です。 VR180 ビデオをボリューム/6DOF に変更するための最初のテクノロジ パイプラインは、1 年以上前に出荷されました。 それ以来、私たちは結果の目に見える品質を大幅に改善しました.

さらに没入型のボリューム ビデオ構造を実現するために、Lifecast は非常に多くの制約の中で動作します。 ビデオは、h264、h265、または ProRes に相当する通常の構造を使用して圧縮され、通常の c 形式で保存されるようになります。 .mp4 または .mov に相当するコンテナ。 これは、一部のビデオ データまたは完全にカスタマイズされたコーデックの側面に三角形メッシュに相当する大量の補助データを販売する表現とは異なります。 一般的なビデオ コーデックを使用する正確な動機の 1 つは、それらが既存のビデオ ツールの宝物である Premiere、After Results、Accumulate to the backside of、および Nuke を使用して編集されていることです。 もう 1 つは、現代のコンピューターは高解像度のビデオをデコードするためのエネルギー効率の高い専用チップを所有しており、通常の目的の CPU でできるだけ多くのピクセルをデコードすることは、バッテリーの存在にとって嘆かわしいことです。またはGPU。 Lifecast の解像度の小売店では、入念に作成されたエンコーディングを使用して、ボリューム ビデオを通常のビデオ ファイルで出力します。

デスクトップ GPU でも、ビデオの最高の解像度で、おそらくさらに公平にデコードすることもできます。 Quest 2 または Quest Pro では、制限は 5760×5760 (1 秒あたり 30 または 60 フレームで 1 フレームあたり 3300 万ピクセル) であり、最も主要なデスクトップ GPU でも制限はそれほど高くありません。 ボリューメトリック ビデオの場合、常にピクセルを賢く使う必要があります。

2D の場合でも、球体または球体の半分をマスクするためにピクセルの制限された欲求を拡張する必要があるため、VR ビデオや写真を作成することは繰り返し行われてきました。 トリップするのに十分なピクセルがありません。 「プロジェクション」は、長方形の画像を球体の周りにラップするための特定のシステムです。 例として、ほとんどの場合、VR ビデオと写真の微弱な投影は正距円筒図法です (これは、地球の地図を作成するのにも微弱です)。