本篇论文摘要由AI工具根据论文原文生成，阅读原文请访问“广电猎酷”小程序“”板块。
近年来，随着计算机图像设计、渲染、生成功能的不断提升，虚拟3D场景创作软件已经具备实时渲染、生成4K超高清视频的能力，视频制作技术的发展也为虚拟制片奠定了基础。本文介绍了采用扩展现实（XR）技术进行虚拟3D场景与实景舞台融合，创作超高清晚会节目的实际应用案例。
本文作者：
李云龙，刘原成 云南广播电视台
第一作者简介：
李云龙（1979—），男，云南广播电视台技术制作中心高级工程师，硕士研究生。主要从事电视制作技术、媒体融合等方面的研究，曾参与过云南广播电视台七彩云融合媒体平台、800平米新闻演播厅、云南广播电视台超高清制作网等重大项目。
NO.1
XR技术简介
扩展现实（XR）虚实融合技术是近年来兴起的电视制作新技术之一，整合了VR、AR、MR等多种技术，利用高性能计算机将真实舞台与虚拟3D场景相结合，打造惟妙惟肖的虚拟舞台空间，演员在舞台表演，观众好像穿越到虚拟场景中预设的环境，产生身临其境的感受。
在晚会节目录制中，计算机构建虚拟场景映射算法和可视化大屏呈现模式，摄像机镜头参数通过XR跟踪模组给虚拟制作服务器传递数据，控制渲染服务器，给舞台大屏实时的立体视频，通过摄像机合成一个人眼可见的立体空间，在物理LED显示器的边界之外实时创建虚拟场景的扩展，为观众创建360度完全沉浸式环境。
NO.2
系统架构
2.1 系统配置
此次XR虚实融合技术系统采用Disguise的VX4设计服务平台，以设计服务器为核心，控制其他功能模块，其主要功能指标决定整个系统的性能，经常使用高性能工作站作为设计服务器，双E5至强CPU、256GB的高速 ECC内存、2块英伟达顶配的4090显卡、40Gbps的光纤交换机、12路超高清4K输入输出卡等高性能硬件模块,如图1所示。
图1 XR虚实融合技术系统架构
为配合3D场景渲染，常常使用集群渲染服务器，多台高性能工作站同时分配任务，同时渲染场景，保证场景的实时性要求，通过40Gbps光纤交换机连接，主要传输渲染后的场景视频流。项目采用虚幻引擎5作为渲染服务平台，它是一款由Epic Games开发的游戏引擎，引入了Lumen 全局光照技术、Nanite虚拟几何技术、metaHuman Creator人物创建工具等，创建高品质的实时 3D 游戏、应用和虚拟现实体验，被广泛用于游戏、电影、广告和虚拟现实等领域。
摄像机跟踪数据主要通过UDP网线连接，Mosys 协议传输。灯光是场景中非常重要的组成部分，为保证虚拟场景和实景中灯光的一致性，灯光完全交由设计服务器控制，通过双绞线连接，DMX512协议控制。大屏用于播放设计服务器 通过视频卡发送的3D视频场景，并且地屏和竖屏是两路分开的信号，在场景设计中要非常注意这两路信号交接部分的融合，不能产生明显的亮差和色差。
2.2 工作原理
虚拟制作服务器VX4按审核通过的虚拟场景，驱动渲染服务器群RX2实时渲染虚拟画面返送回虚拟制作服务器，通过4K视频线送到大屏系统，同时虚拟制作服务器对摄像机实时跟踪数据进行实时解析与处理，与真实舞台的视频信号（包含大屏信息）进行对比，实时合成 PGM 主讯道的视频图像，如图2所示。
图2 XR虚实融合技术数据流程图
在整个场景设计中，一定要让虚拟场景与实际舞台场景自然地融合在一起，不能有画面撕裂感，也就是融合要保证灯光、舞台、大屏统一、协调，光线方向、亮度、色度、人物和建筑物不能有明显差异，完美自然地融合，这是整个系统设计的关键点、困难点。
2.3 制作流程
XR虚实融合先根据舞台场景大小选择合适的大屏，包括地屏和竖屏，竖屏主要有两种 ：弧形屏和直角屏，将舞台场 景输入电脑进行虚拟场景预设计，将预设计的场景交给导演 组审核通过后，再进行深度设计，再次审核通过后就进入现 场系统安装、调试阶段，完成后进行现场录制。
1.虚拟场景模型创建 ：制作服务器导入导演组初审通过的3D场景模型，运用光学定位器将实景舞台定位点、摄像机的实时运动位置数据、镜头数据等传输到虚拟制作服务器，校正摄像机与跟踪模块，创建场景映射算法。
2.安装、调试阶段 ：搭建舞台除大屏外的其他场景，检查各个功能模块与制作服务器是否能完全控制，实时跟踪数据、灯光控制、大屏播放控制是否能正常工作。待机彩排时还应注意摄像机移动和推拉的限位，不能超过场景预设边缘。
3.正式录制：一方面虚拟制作服务器VX4接收RX2渲染完成的虚拟画面，根据映射算法计算出 LED需要显示的内容，并将相应渲染内容输出至LED背景竖屏和地屏。另一方面如图3所示，虚拟制作服务器VX4将摄像机实拍信号（包括人物、实景、大屏）与RX2渲染后的幕外虚拟拓展空间中的内容进行叠加，同时采用边缘与大屏虚化、自动色彩、镜头校准等操作，减少画面间的割裂感，达到背景画面颜色统一，实现虚实融合，作为最终输出。
4.信号输出 ：最终输出信号接入切换台供导播切换使用。
图3 XR虚实融合技术最终合成示意图
NO.3
技术关键点
1.虚拟场景构建 ：虚拟场景模型创建时，不仅要注意虚 拟场景的三维大小、每个物体的大小比例、贴图、光影等虚 拟场景模型，还要注意舞台上与实景相融后，道具、演员与 虚拟场景中的人、动物、植物等背景物体的比例关系。
2. 渲染引擎算力：系统采用1台高性能设计服务器VX4，2台节点渲染服务器RX2挂载UE5渲染引擎，实时渲染虚拟场景。本项目的2台节点渲染服务器均采用高性能 CPU+GPU，必要时还可以再增加，最高支持5台节点渲染服务器，算力决定渲染速度，决定融合输出的视频延时。
3.摄像机跟踪精度：VX4设计服务器使用Mosys获取摄像机跟踪数据，通过空间转换计算融合到虚拟场景中，分发给UE5渲染引擎，完成后再拉合成视频流。摄像机的跟踪精度越高，人和物的运动越自然，但渲染运算负载越大。
NO.4
技术系统的应用
4.12023云南卫视春节联欢晚会
1.舞台搭建：《 2023云南卫视春节联欢晚会》在云南广播电视台老台（昆明市人民西路182号）600平米演播厅录制，舞台立面采用P1.8 点距 LED 全彩色屏幕，长18米、高5米、弧形；地屏也为LED 屏幕，长14米、宽12米。
2. XR系统设备：架设了Disguise的1台VX4虚拟制作服务器和2台RX2节点渲染服务器，搭配虚幻5（UE5）渲染引擎用于虚拟舞台制作。现场用到了3个虚拟机位：2楼全景高机位、中轴低角度近景、摇臂，其中摇臂架设了Mosys摄像机光学跟踪系统，为虚拟摄像机建立可用的坐标轴，完成虚拟世界和真实世界的空间校准，另两台虚拟机位采用Shotoku追踪系统的脚架。
3.构建虚拟场景模型：光学跟踪系统、预先制作好的虚拟场景结合实景舞台道具联动调试，确保3个虚拟机位都不会出现穿越，也不会超出场景模型，所有机位构图美观、虚实边缘过渡自然，保障灯光、场景能将虚拟场景与现实场景自然融合。
4.现场录制：将构建好的虚拟场景调入制作服务器，实景道具摆放就位，演员就位，进行最后的合练调整，检查灯光与场景的配合、实景与虚拟场景的过渡是否自然，确保每个虚拟机位上的摄像都知道场景边界。正式开录时，由于虚拟机位与只有实景的机位相比会有3到4秒的延时，所以 一般一个节目至少要录制2遍，第一遍完全用虚拟机位切换，第二遍不用虚拟机位切换节目，2遍混剪合成输出。
5.后期合成输出 ：后期制作最重要的事情就是对节目按节奏点剪辑，完全按音乐的节奏来混剪、调色，并添加包装、节目名、字幕等，按节目的发布渠道生成各种不同的格式和码率。
XR虚实融合技术让晚会的呈现边界得到了扩展，可以融入更多创意场景，丰富节目舞台的表现层次，实现跨空间的奇妙互动。整个晚会带领观众游遍云南，看云南的高山河谷、生物多样性、人与自然的和谐共处，坐上中老铁路的火车从昆明南站出发到老挝万象看沿途的风土人情，如图4所示。实现虚拟环境与真实场景的有效融合，让空间富有变化，在屏幕、灯光等的辅助下，为广大观众带来更好的感官体验，有效提升节目画面的视觉冲击力，满足受众的娱乐需求。
图4 运用XR虚实融合技术完成节目部分截图
4.2 后续应用
云南广播电视台后续在《2023年云南省文化创意博览会》上进行技术展示，让更多的人站在虚拟的3D场景中，感受不一样的舞台氛围，同时还对800平米新闻演播厅进行技术改造，升级成XR虚实融合技术系统，目前已经完成《共绘丝路•七彩画卷》的直播和每周《金色热线》的直播。
NO.5
结束语
在录制过程中导演组最大感受就是XR虚实融合的场景代入感强，让观众有一种直接进入当地环境中的感觉，体验感更好；其次晚会的实景部署方便、时间短，由于只需布置人物周边道具，简单快速、分时复用，可减少道具费用成本，场景还可灵活快速适配不同节目；最后XR将真实舞台、虚拟场景、灯光技术融合，使舞台得到了很大的扩展，录制时最终合成视频几乎实时可见，易于直观表达创作意图。与传统晚会录制不同的是利用游戏场景构建的渲染引擎制作晚会节目；与传统绿幕、蓝箱录制视频时有衣服颜色限制不同，XR制作时没有颜色限制，为演职人员和导演提供了更大的发挥空间 ；现场实时合成视频，降低了后期工作量，提升了后期制作效率。
end
nload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" />
参考文献
[1] 于嘉琪.《唱支山歌给党听》特别节目XR技术录制心得[J].现代电视技术,2022,10:107-110.
[2] 张闯.XR技术发展现状及关键技术研究[J].现代电视技术,2023,06:102-105.
[3]冯高洁.XR(扩展现实)应用于电视节目的关键技术与发展趋势[J].现代电视技术, 2021,02:114-117.
[4]沈元.XR技术在广播电视演播室的应用[J].电视技术,2023,47(5):70-72.
[5]吕晓彬.总台XR技术的应用及发展——访中央广播电视总台技术局韩济源、范晓轩、熊雄[J].现代电视技术,2023,08:30-32.
[6]段芙蓉.现阶段XR技术在电视中的应用浅析[J].现代电视技术,2023,11:98-100.
[7]徐立.虚幻引擎在虚拟拍摄中的应用[J].现代电影技术,2022,10:55-58.
《广播与电视技术》、“广电猎酷”广告经营与商务合作代理：
北京中广信通文化传媒有限公司
联系人：李聪
联系电话：18518221868
好文共赏请转发 有话要说请留言