虛擬拍攝是指在實際的拍攝場地上使用大型LED屏幕，即時顯示高度逼真的3D環境。通過遊戲引擎技術，實際場地和3D場景中的攝影機是相互連動的。也就是當攝影機移動時，LED屏幕背景也會隨之改變。這種技術使得可以在拍攝當下就可以看到以往在後期製作才能實現的視覺特效， 減省大量後期時間和預算的同時，也可以當下即確認團隊欲達成的畫面。

上述影片展示了知名影集《曼達洛人》的幕後製作。影片中可見LED背景即時顯示攝影機的視角 ，但方便的同時也有一個顯而易見的缺點——攝影機會受到LED範圍的限制， 無法呈現太遠的鏡頭或進行大範圍的運鏡，否則拍到LED外的部分形成穿幫。

Extended Reality
因此業界研發出Extended Reality的技術(也有稱XR )，既然遊戲引擎可以運算出攝影機當下的視角，理應也可以得到穿幫部分在遊戲引擎中的渲染畫面，將拍攝到沒有穿幫的部分保留，穿幫的部分則及時合成渲染的畫面，達到擴增出虛擬畫面的效果，如此也就可以不受到LED範圍的限制。
而我之前所在的夢想動畫團隊也掌握了這項技術，甚至開發出能適用於較低成本的 VIVE 相機追蹤系的延伸方案。

夢想動畫所研發的EXtended Reality技術

我們不僅僅滿足於擴展拍攝的方式，更嘗試在其中創造更多可能性。在虛擬拍攝中，「動態」是一個常見的元素，例如演唱會、MV拍攝等。加入動態可以大大加強視覺效果，同時也讓拍攝團隊有更多發揮空間。
然而，在 Extended Reality 拍攝方式下，實現動態同步卻是一個難點。Extended Reality的基本框架是一台主機運算背景LED，另一台電腦運算虛擬內容。透過對相機進行校正、計算遮罩後合成相機和虛擬內容的畫面，形成最終畫面。基本上，兩台電腦是各自獨立運作一個 Unreal 畫面，兩者的動態是各自獨立並無法對上。
為了解決這個問題，我們開發了以下的解決方案。將輸出LED背景畫面的主機作為主時間軸，並將這個時間軸的時間傳送到運算虛擬內容的電腦，作為其時間軸的參考。同時透過第三方軟體對時間進行DELAY調整，讓兩台電腦的動態可以完全同步。即使是在材質或Blueprint中的動態，也可以用相同的方法進行動態同步。

即使背景快速上下，擴增的動態也是同步的(尚未進行調色，上方較黃較亮部分為虛擬的影像

除此之外，我們也嘗試將AR(Augmented Reality)帶進其中，冀望能達到更沉浸式的體驗。在虛擬拍攝中，相機追蹤是最基本也必備的技術，而既然我們知道相機跟LED螢幕的距離，也就可以推算一個3D物件與LED螢幕的前後關係。

注意看畫面中的白色方塊，方塊會移動在人的前後，當他出現在前方時，其實是電腦render出來的虛擬畫面，而當他出現在人後方時，則是在實體的LED螢幕畫面中，方塊會穿梭在虛實之間。藉此效果可以讓虛擬拍攝不是只有背景，甚至能有在演員前方的前景，提升整體畫面層次與真實度。

為此開發的z-depth遮罩，可以自訂義需要的最大最小深度形成遮罩。