また、単純な光学ファンタズムを使用して、より没入型の Web を明らかにすることはできますか?

驚異的な技術デモの歴史の中で際立った人物がいます。それはジョニー・リーの Wii VR ディスプレイを発明する遠隔ハックです:

そのビデオは2007年のものですが、見せられている能力は非常に印象的で、賞賛されているように感じます.

ジャニーズのデモに対する反応は、称賛の形に変わりました。 彼は 1 年後の TED トーク で、他の多くの素晴らしいハックと共にそれを発表し、Microsoft の Kinect と Google のミッションに取り組みました。 Tango.

悲しいことに、彼の VR の既存の技術は、すべてのアメリカ人が知っている Wii ビデオ ゲームやその他の商業商品によって決して壊れることはありませんでした.

今年の初めに彼のデモをもう一度見たとき、なぜ彼のテクニックがうまくいかなくなったのか不思議に思いました。 誰もがそれを探したいと思っていましたが、誰もそれでリラックスしたことはありませんでした.最も生産的なウェブカメラを使用してブラウザ内で。 それが可能になった場合、おそらくすべてのアメリカ人がアクセスできる彼のテクニックが明らかになり、おそらくウェブ上でインタラクティブな体験の静かな世界全体が提供される可能性があると考えています.

参考までに、承認されたマークの Web 特性を開き、奇妙な仮想ストアフロントが表示されることを考慮してください。 歩道に立って店を覗き込んでいたときのように、おそらく最もスタイリッシュな商品を垣間見る必要があります.

ウェブカメラによる 3D 知覚追跡

ジョニー・リーのテクニックが必要とするのは、カメラに感謝する世界の問題であなたの目がどこにあるかを計算するモードです。 言い換えれば、「あなたの正しい認識は、カメラの適切な位置から20センチメートル、その上10センチメートル、その前50センチメートルです」と賞賛する問題を正確にアドバイスするモードが好きかもしれません. )

ジャニーズの場合、彼は Wii Distant の赤外線カメラと Wii のセンサー バーの LED を弱体化させて、頭の位置を正確に解決しました。 私たちの場合、それにもかかわらず、簡単なウェブカメラで接続したかった.

MediaPipe Iris は、次のように記述されます。優美な虹彩推定のための ML 解像度。特別なハードウェアを必要とせずに、単一の RGB カメラを使用して有効な時間内に、虹彩、瞳孔、および知覚輪郭を魅了するランドマークを追跡する準備ができています。 さらに、虹彩ランドマークを利用することで、被写体とカメラの間のメトリック距離を 10% 以下の相対誤差で解決できるようになります。

人間が知覚する水平方向の虹彩の直径は、広い集団全体で 11.7±0.5 mm にほぼ固定されたままであるという事実と、いくつかの簡単な幾何学的な議論を当てにして実行されます。

それこそまさに私たちが望んでいたことですが、1 つの災害が発生しました。 、そしてブラウザ内でデモを実行したかったのです.

私たちは実際にはこれに不満を持っていましたが、Google の

MediaPipe Face Mesh ライブラリは、カメラと目の間のギャップを測定するのにさらに脆弱です.

これが実行されたマップの要約です:

MediaPipe Face Mesh は、虹彩ごとに、左、右、上、下の 4 つの側面を検出します。

私たちは皆、左側面と右側面の間のピクセル単位のギャップを知っており、さらに、それらの間の球面問題の距離は、およそ 11.7 mm (人間の虹彩の一般的な直径) に等しくなければならないことを知っています.

• これらの値とウェブカメラの固有パラメータ (X と Y の効率的な焦点距離と X と Y の教訓レベルの生活のプット) の利用。世界の問題で目の深さを解決するために、いくつかの簡単なピンホール カメラ マネキン方程式を解くことができます。すべてのアメリカ人が深さを知ったら、X と Y の位置をさらに計算することができます。

難しそうに見えますが、意外と簡単に作れます。

最もリアルに見える災害次に、ウェブカメラの固有パラメータを計算する方法を説明しました。 以前のブログ投稿では、この ブログを参照することで、さらに回答が得られました。次のように説明します:

• 最初に、この市松模様のサンプルを印刷し、同様に、厚紙の割り当てを賞賛する頑丈な床にテープで貼り付けます:

そして球体写真を50枚決めますウェブカメラを使っていろいろな角度から撮影してください。

遅かれ早かれ、あなたは写真をOpenCV を使用してチェッカーボード サンプルのコーナーを検出する Python スクリプト。これにより、ウェブカメラの固有パラメータを計算できます。

ここで、球体問題の目の位置が表示されている状態で、おそらく動きのあるトラッキングを認識したいと思うかもしれません。 頭の左の隅にyed:

計算していた深度値が正しかったことを検証するために、MediaPipe の DIY マップをフレイルします。ウェブカメラに対抗する巨大な定規に沿った目:

結果は私たちの機能にとって十分に優雅ですが、MediaPipe Iris を MediaPipe Face Mesh の代わりとして利用できれば、より良いものになるでしょう.

ショーコンシールを仮想ウィンドウに変える

システムから 3D 知覚追跡を使用して、カテゴリカルな光学ファンタズムを強化することに重点を置きました。

既存の最もリアルに見えるシステムは、

ショーコンシールを好む窓を眺めて振る舞うこと: それが示すものは、私たちがそれを見つめる角度と、それと私たちの目との間のギャップに応じて、おそらく静かに変化する可能性があります.

それが起こることを明らかにするために、まず

私たちの目の位置はウェブカメラに対して相対的に計算されるので、私たちの仮想世界のミューズをなくすことができます。

それを作ると、それは仮想世界が有効なものの上に重ねられて見えるものです:

そして、それが私たちのレクリエーションエンジンで賞賛されているようです:

赤い四角形は、ショー コンシールの周囲を定義します。 有効な表示はセンチメートル単位で隠蔽されるため、これはカテゴリ連結ディメンションを持ちます。 球体のミューズ (ウェブカメラ) とショー コンシールのヘッド エッジの間のギャップでさえも測定され、考慮されます。有効な世界の次元。 このマップを仲介します:

しましょうMediaPipe では、ウェブカメラの適切な位置から 20 センチメートル、上に 10 センチメートル、前に 50 センチメートルが正しい知覚であると計算されることをお勧めします。 私たちのレクリエーションエンジンでは、あなたの正しい認識の生活のカテゴリ別の場所に仮想カメラを設置することができます(後で適切な知覚または左知覚を使用する理由が存在する可能性がありますが、目の間の中間点ではありません. ショーがウィンドウを隠していることを喜ばせるために、仮想カメラがウィンドウに表示されたときに、ウィンドウが仮想世界内に存在するように見せかけたいそれまでの角度と距離は、有効な世界のこれらと一致します。

ここで言葉にするのは難しいですが、運が良ければ理にかなっています。 私たちは光の幻想を追い求めており、山のような精度でそれを生み出したいと思っています.これの前に置いたリラクゼーションは、ショーの隠し場所から飛び出しているように見える可能性があります.

オンアクシス VS。 軸外ビュー プロジェクション レベル

このレベルでは、レクリエーション エンジンで有効な世界を再作成できたことに満足しており、知覚トラッキングを使用して居住地に到達しています。

議論すべき最も生産的な重要な落とし穴が 1 つあります。それは、軸上と軸外レベルのビュー投影の違いです.

仮想カメラが従来のレベルのビュー プロジェクション (さらに軸上レベルのビュー プロジェクションとして識別される) に脆弱である場合、それは leer frustum が垣間見るものです:

お察しのとおり、形が変わらない左右対称のピラミッドです。 ここで問題となるのは、この形式のビュー プロジェクションでは、頭が球面を通過した後にコンピュータ ショーで隠蔽されていると認識されるためです:

私たちの窓の周囲を垣間見る準備ができており、それはもはや私たちが最も好むものではありません.軸外レベルのビュー プロジェクション マトリックス:

お気づきのことと思いますが、これは不均一なピラミッドであり、そのパスは仮想ウィンドウに接着されています。 これは、頭が球面を通過した後、コンピューター ショーの隠し画面で認識されるものです。 見る角度と距離に応じて変化するものを知覚しますが、仮想ウィンドウの境界を超えて知覚することはありません.ビュー投影の軸レベル、

this 論文では、おそらくこれまで以上にうまく説明されています. どうしてバーチャルカメラを適知覚や左知覚の生活圏に置いているのですか？ なぜもう目の中間にそれを置かないのですか?

ここに、さまざまな老人が知らないこの種の基本的な制限があります:光学ファンタズムが機能するためには、それぞれの目で 1 の生活の場所に仮想カメラを設置し、反対側を閉じてください。 そうしないと、問題がショーから飛び出したり、接続された奥行き感を隠したり満足したりすることはありません.

シーンを 2 回レンダリングします。 別の画面で対応する目にレンダリングします。

私たちの場合、1 つのショーを隠すことが最も生産的であるため、1 つの認識を保持し、そのビューのレベルから問題をレンダリングしたいと考えています。

目の中間点にある仮想カメラにより、両方の知覚がほとんど正しく見えなくなり、これにより光学ファンタズムが消滅します。中間点を利用しながら制定する 目の間と両方の目配信を維持します。

接続されたマップを優雅にポップしません. ここで、おそらくジョニーの有名なターゲットのデモのモデルを認識したいと思うかもしれません:

そのビデオをファイルするために、カメラを可能な限り熱心に押した状態で iPad を持っていました。正しい認識。

さらに、深度とカメラの動きを示すことに重点を置いたデモを適用しました。 あなたはおそらくそこにそれを認識しなければなりません：

ゾンビがショーの秘密を明らかにし、怒りを明らかにすることができなかったときに憤慨していることを明らかにするのはおそらくユーモラスであると私たちは考えていますだ。

遅かれ早かれ、私たちはこの提出物で何よりもまず最初に提案した仮想店頭デモを適用しました。 おそらくここでそれを理解する必要があります:

Teenage Engineering の を利用することにしました。 OP-1 自己鍛錬

この種のグルーヴィーな製品なので、このデモには )

OP-1の自己規律がショーの隠蔽から浮かび上がっていることに感心することがどれほど注目に値するかは驚くべきことです. それはおそらくあなたがそれを達成し、繰り返したいと思うかもしれない. 、これへのオマージュとして 特徴的なウィリー ウォンカとチョコレート マニュファクチャリング ユニットの映画の有名なシーンで、チャーリーがテレビに手を伸ばして、空中に放り出されたチョコレート バーを引き出します。

この投稿のすべてのささいなことの前に、私たちは自分自身に要求しました:

ジョニー・リーのテクニックが決まらなかったのはなぜですか? すべてのアメリカ人がそれを大切にしているのに、なぜすべての場所で適用されなかったのですか?

すべての技術的ハードルを飛び越えた後それが機能していることを明らかにするために必要な理由は、

• ウェブカメラの特別なハードウェアや固有パラメータが必要ですが、正確に計算するのは難しいでしょう.

あなたはショーの物理的な寸法を隠したいと思っています。 あなたはおそらく1回の知覚をやめたいと思っています。 「楽しい演技」から「見事な光学的幻想」へと急ぐこと。

残念なことに、ジョニーのテクニックはもはや災害用ポータブルなしでは機能しません。 Web の特性としてブラウザー内で動作するようになったことを嬉しく思います。または、1 つの明示的な show hide と 1 つの明示的な webcam で最も生産的に動作します.

災害が発生しない限り、ウェブカメラの本質的なパラメータと、ショーの物理的寸法が隠蔽しているため、この優れた光学ファンタズムが主流になることは決してありません.没入型の体験を楽しむことをやめるには？

これを巨大なターゲット市場に出荷することができなかったにもかかわらず、私たちは落ち着いてため息をつく.多くの Web ブラウザーで考えられる暗黙の時間内にあるもの。 WebAssembly のおかげで、リンクを優雅にクリックするだけで、高度なマシンを読み込んで、ファッションを見つけ出すことができるようになりました。 私たちは間違いなく目、顔、手、そして今まで以上に意識するでしょう. また、優しいフレーム料金で優雅なシーンをレンダリングすることもできます.

Web の正しいシステムの前進に関して、もはや陰気である必要はありません.