LED数字虚拟拍摄移动控制系统的创新设计

数字虚拟拍摄技术作为一种新型的影视制作技术，其基本原理是在实景拍摄的基础上，通过计算机生成的虚拟场景和数字特效，实现实景和虚拟场景的完美融合，达到拟真的现场拍摄效果，可以实现以前无法实现的场景。

数字虚拟拍摄技术的飞速发展，为数字虚拟拍摄制作提供了全新的可能性，在影视剧乃至泛文娱领域得到了广泛应用，但也遇到了技术瓶颈与创作局限。而基于Unreal的LED数字虚拟拍摄移动控制系统以“所见即所得”的实时可视方式，在影视制作数字化和拟真化的技术探索道路上又往前迈进了一大步。

技术价值与应用挑战

技术价值

LED数字虚拟拍摄作为当前前沿的影视剧拍摄制作拍摄方式，较之早期的数字虚拟拍摄有了革命性的进步，在部分影视制作领域的应用已越来越成熟。

早期传统的数字虚拟拍摄——绿幕拍摄的反光，对于场景中易产生场景反射的物体，例如金属杯表面会反射周围的环境，假如在绿色的摄影棚内拍摄(想要拍摄的是办公室场景)，由于绿幕的原因，金属杯会呈现绿色，但是真实办公室场景的反射效果难以预料，这会使得后期工作人员很难处理，导致最终作品的局部细节不真实。

而在LED虚拟化制作中，LED屏幕可以显示三维实时引擎中的虚拟画面，也可以显示提前拍摄的HDRI全景图像，与虚拟环境的位置、大小、形状、亮度和色彩一致的光线从不同方向照射而来，能够模拟比较真实的基础光照效果。

因此LED数字虚拟拍摄具有真实全局光照效果的优势，使得正确映射到现实LED屏幕上的画面和整个拍摄场景都继承了虚拟场景中的光照信息及反射信息，可以对现实被摄物的光照、反射、折射等产生真实的效果，并且光照信息会随着LED屏幕的画面内容进行实时变更。

例如在办公室场景拍摄时，LED屏展示办公室画面，真实的被摄物——金属杯会反射办公室的环境，从而消除了现有技术中被摄物与LED屏幕所展示的画面光照不协调的问题。LED背景墙拍摄在处理透明介质和镜面反色拍摄方面具有优势。

因此，LED数字虚拟拍摄对影视制作而言，在节省时间成本和制作成本方面具有双重优势，尤其是对于广告类等周期较短的拍摄，使用LED数字虚拟拍摄可以直接出片不需要再进入后期制作环节。

应用挑战

LED数字虚拟拍摄通过现场布置灯光、控制灯光等环境影响因素，使得演员与虚拟环境可以更加贴近真实的匹配，无限拉近虚拟拍摄与实时拍摄的界限，成为LED数字虚拟拍摄拟真效果研究的前提基础，可以改善当前许多影视剧数字虚拟摄制的现场拍摄中出现灯光效果不匹配、画面合成实时性延迟和图像质量不佳等新视觉割裂问题。

但是，在LED数字虚拟实际拍摄现场，单靠LED背景墙屏幕自身光照强度无法满足拍摄需求，拍摄的对象跟LED还有一定的距离，因此还需要由传统灯光设备补充光照，以弥补背景墙照明问题，通过互相搭配获得最终的效果。摄制时通过控制灯光光源与被摄物体的距离，可以使被摄主体同背景达成特定的光比，赋予不同镜头独特的调性。

此外，LED背景墙自身的光学属性会令其红色光源的发射峰值极高，导致人的皮肤会反射更多的红色，使呈现出的画面集体偏红，基于RGB三基色也会导致屏幕光谱不全，显色性较差，产生同色异谱的现象，使摄影机中输出的画面和真实的颜色产生极大差距。

针对上述问题，通过基于Unreal的LED数字虚拟拍摄移动控制系统，可以在一定程度上解放影视创作者，演员可以置身于接近真实的虚拟场景中全身心地投入表演，导演可以直观看到实时拍摄产出的最终画面效果，并根据创作者的艺术表达需要，迅速切换虚拟场景，免去了转场的时间。

同时，通过提前预制拍摄需要的数字资产，完善灯光和色彩的匹配功能，使其直接出片的效果更接近导演所需要的最终效果，这种后期前置的拍摄方式，进一步促使影视剧制作过程迭代化、更具协作性和非线性。

移动控制系统的创新设计

系统设计针对数字虚拟拍摄现场的自主可控性，以及增强调控拍摄场景的灯光和色彩等效果上，创建可供影视剧组拍摄现场的工作人员手持控制和移动调节LED虚拟拍摄现场灯光氛围和色彩等环境影像因素的系统工具。

设计思路围绕虚拟拍摄技术的研究背景、拟真需求分析、案例分析、设计概念、设计流程实施步骤和项目演练的数据参考和效果反馈进行分析，来验证设计结果的稳定性和可靠性。

对于实时虚拟场景LED拍摄系统，着重在实际影视剧拍摄过程中应用的LED数字虚拟拍摄框架，它包括LED屏幕、数字资产模块、实时摄影机、跟踪模块、虚拟引擎模块(Unreal)、外置灯光系统、虚拟灯控台模块和XR画面合成模块(获取虚拟引擎实时渲染的带有深度通道的画面和现实摄影机拍摄的画面，合成最终画面)。

同时，系统可根据拍摄场景所需呈现的内容，调取数字资产构建虚拟场景，在虚拟引擎模块中重构出虚拟LED屏幕和虚拟摄像机。将采集摄影棚内真实环境光照信息实时同步至虚拟引擎内，通过虚拟引擎模块对虚拟场景进行分布式实时渲染并在虚拟LED屏幕呈现，之后在虚拟LED屏幕之外叠加虚拟引擎根据实时摄像机位置和镜头畸变信息实时渲染的带有深度通道的画面，物理LED屏幕显示虚拟LED屏幕，当实时摄像机完成拍摄，XR模块获取带有深度通道的画面和实时摄影机拍摄的画面，合成得到最终的画面。

移动控制系统的分布式实施与应用案例

系统的分布式实施

根据系统的设计思路，结合技术设备的实际情况，具体实施按照分布式的系统流程进行。

 

 

 

首先，虚拟引擎模块根据物理LED屏幕的形状及特性在虚拟引擎模块中重构出虚拟LED屏幕;实时摄影机跟踪模块捕捉现实摄影机的位置信息通过VRPN协议将现实中的摄影机位置信息和运动数据实时捕捉至虚拟引擎模块中并构建虚拟摄影机，通过控制虚拟摄影机的运动以实时模拟真实摄影机的运动。

第二，根据当前拍摄场景所需呈现的内容，虚拟引擎模块从数字资产库模块中调取三维模型和环幕视频构建虚拟场景，通过虚拟灯控台控制外置灯光系统中灯光的亮度及颜色;通过环境光采集系统为虚拟引擎模块采集摄影棚内真实环境光照信息，将真实环境光信息实时同步至虚拟引擎内，并模拟虚拟场景中模型的物理光学效果和物理特性效果。

第三，虚拟引擎模块进行分布式实时渲染，并在虚拟LED屏幕上投射渲染画面;虚拟引擎还根据实时摄影机跟踪模块得到的实时摄影机的位置和运动数据以及镜头数据传感器得到的镜头畸变信息，在虚拟LED屏幕之外叠加虚拟引擎实时渲染的带有深度通道的画面，所述渲染画面为根据摄影机实时位置信息变化并带有景深及视差的画面。

第四，将虚拟LED屏幕上的渲染画面转换成现实LED屏幕可用的视频流信号进行输出，由物理LED屏幕进行实时显示;步骤三所述带有深度通道的画面输出给XR模块。

第五，物理LED屏幕和外置灯光为现实中的被摄物提供所需灯光照明，光照信息随着物理LED屏幕的画面内容进行实时变更。

最后，实时摄影机进行当前场景的拍摄，拍摄画面传输给XR模块，XR模块获取虚拟引擎实时渲染的带有深度通道的画面和现实摄影机拍摄的画面，并对画面进行合成处理，得到最终的画面。

系统的实际应用案例

根据系统的设计思路与实施流程，通过展示案例来分析目前该系统在类型化的实拍场景中的实际效果。

 

 

 

第一个案例展示的是上图所示的车戏，此次演示采用了LED高达12K分辨率的环拍实景素材，优势在于:

一方面，可以解决车戏拍摄时可能遇到的诸如天气、安全、交通等不可控因素的影响;

另一方面，可以解决光反射大的问题，在LED屏幕环绕下，车子表面的反光体以及演员脸部的面光，都能够随着环境光影的变化而发生改变。

 

 

 

第二个案例展示的是如上图所示的室内戏，案例位于横店搭建的LED屏幕的演示区，背景LED屏幕上播放的是实拍的高质量影像素材，其优势在于:

一方面，室内景几乎可以达到秒切的速度进行更换；

另一方面，减少或者避免转场的情况，在摄影棚直接实现转场，极大提高了转场效率，降低了相关成本。

LED数字虚拟拍摄移动控制系统是对数字虚拟拍摄技术模式的又一次升级，也是对数字虚拟拍摄研究领域的又一次拓展。通过该系统，可根据需要更灵活便利地配置虚拟拍摄环境，实时可视化地实现制作者的各种需求，加快数字化电影制作进程与效率。

放眼全球电影产业，在数字虚拟拍摄方面，中国和域外在技术层面站在了同一起跑线上，而借助本系统的研究成果，能推动数字虚拟拍摄制作在中国电影市场开辟更广阔的应用空间。