用虚幻UE引擎为汽车发布会制作AR网络直播
用虚幻UE引擎为汽车发布会制作AR网络直播
文章转载自：unrealengine.com
作者：By Epic Games 社区经理Jinyoung Choi
在8月，现代汽车集团旗下的起亚汽车公司举办了它的第四代嘉华汽车AR发布会“AR嘉华”，在网上展示这一系列的最新车型，而Vive Studios使用虚幻引擎的AR功能为这场发布会提供了技术支持。Vive Studios是总部设在韩国的全球性叙事者，推出了以VR记录片《遇见你》和韩流偶像团体IZ*ONE的XR音乐会“ONEIRIC THEATER”为代表的迷人数字化体验，在包括VR、AR和VFX在内的各个领域获得广泛赞誉。随着这次AR发布直播圆满结束，Vive Studios又一次技惊四座。
“AR嘉华”项目是作为一个网上活动规划的，目的是向起亚汽车公司的客户介绍嘉华系列的最新车型阵容，这是该公司六年来的第一个新产品发布会。传统的线下发布会可以让参加者现场观看和体验实体汽车，但是考虑到现行的社交隔离措施，起亚汽车选择了以独特的方式展示嘉华的特色与亮点。
这场成功的虚拟发布会在网上向全世界观众实时直播，观看者多达155000人，最多时同时有3300名用户观看，打破了韩国有史以来的直播纪录。不仅如此，这场发布会还展示了在实时技术支持下进行网上AR发布的可能性，使用顶尖水准的逼真CG为客户提供了全新的体验。
Vive Studios表示，虚幻引擎是这次网上发布会成功的基础。现在就让我们来深入探究Vive Studios如何使用虚幻引擎制作“AR嘉华”发布会。
项目概念
Vive Studios为“AR嘉华”项目创造了创新的解决方案，以展现直播活动的激情、主持人与车辆的交互和产品的品牌理念。嘉华的理念是“连接中枢”，旨在将不同的空间、人员、信息、体验和世代连接在一起。为了将这种理念融入直播中，这家工作室决定实践该理念，将一辆实体汽车、一辆AR汽车和一辆VR汽车放到同一个空间中，并串联三种现实。于是他们使用了虚幻引擎来创建增强现实与虚拟现实的部分。
技术目标
Vive Studios决定为这次发布会实现三个主要技术目标。第一个目标是以照片级的逼真品质渲染车辆，使它们的外观达到以假乱真的地步。第二个目标是通过AR和VR向观众和客户呈现一场盛会。为了做出一个庞大空旷、却又看似充满运动的空间，除了一辆实体车外，所有内容都要实时渲染。在关注照片级AR车辆细节的同时，还要实时可视化三分之一的空间，将舞台扩展到虚拟LED幕墙之外。
图像由Vive Studios提供
第三个目标是创建一套针对AR优化的控制界面。由于需要各种在一般电影摄制流程中不常用的技术与设备，AR制作要求复杂的大规模协作。这包括跟踪设备、实时合成程序和PC同步。这也会带来众多不可预测的现场因素，例如设备崩溃、制作方向改变和主持人失误等。正因如此，才需要一种专业的控制界面，以便快速应对现场出现的紧急问题和促进制作过程的顺利推进。所以，Vive Studios看到了虚幻引擎在基于现有功能自由构建和快速响应现场需求方面的价值，决定以虚幻引擎为基础开发一款内部AR解决方案——V2Xr。这一切都是依靠虚幻引擎的实时渲染、同步功能和合成外部镜头的可行性，以及Epic Games提供的各种插件来实现的。
AR解决方案V2Xr的合成
Vive Studios的专有AR解决方案V2Xr由LiveComp和XR Player组成。LiveComp是一种远程控制界面，能指挥整个系统和管理操作。XR Player是一种用于AR和LED幕墙的、基于UE的可视化程序。LiveComp和XR Player通过网络不断发送和接收状态及命令，以控制可视化镜头。XR Player与虚幻引擎健壮的实时渲染配合得特别好，成功实现了技术目标。
图像由Vive Studios提供
XR Player
XR Player是一种用于AR合成、LED幕墙图形等用途的，基于UE的可视化程序。在XR Player中可以执行各种任务，例如从LiveComp接收控制信号以更改Sequencer的位置和方便用于AR的镜头合成。XR Player可以按用途分为两种不同的类型：AR Player和SC Player。AR Player实时合成摄像机镜头与CG视频。另一方面，SC Player可将实时渲染图形或普通镜头即时输出到LED幕墙或投影墙。这两种播放器分别在渲染PC上独立运行，而且可以根据AR摄像机或LED幕墙的数量增加渲染PC数量。
图像由Vive Studios提供
AR Player
AR Player通过外部跟踪设备接收摄像机移动信息，并将其应用到CG，然后实时与实拍摄像机镜头合成。在此过程中，合成方法或镜头畸变校准功能都有赖于跟踪设备的通信协议方法。V2Xr支持Stype的通信协议和通用协议FreeD。对于Stype的协议，合成与镜头校准是通过Stype的虚幻引擎插件应用的。另一方面，FreeD协议的合成与镜头校准则基于虚幻引擎的Composure插件。
镜头合成与镜头畸变校准
如果跟踪设备没有虚幻引擎插件或需要自定义功能部件，则可以使用FreeD协议接收摄像机状态信息来直接实现合成功能。镜头畸变校准也是必不可少的功能。要实现这个功能，虚幻引擎中包含的Lens Distortion插件和Composure插件是实时AR合成的必备插件。
图像由Vive Studios提供 使用校准数据校正镜头畸变
图像由Vive Studios提供 使用校准数据校正镜头畸变
在AR合成中用于校正镜头畸变的有效校准方法非常关键，而且可能难以实现，特别是在使用B4底座广播镜头的情况下。这种情况下摄像机角度会根据缩放发生巨大变化，然后就会出现严重的镜头畸变，尤其是在宽画幅中。焦点位置也会影响畸变的出现，所以必须收集各种校准数据，在镜头合成时需要应用合适的校准值。为此，AR Player利用Lens Distortion插件创建为每个帧应用畸变校准值的渲染目标，而Composure使用创建的图像作为基础来改变摄像机镜头的UV，从而校正畸变。
图像由Vive Studios提供
CG色彩校正
在AR现场，使CG能够融入环境的色调校正功能非常重要。实体光照的概念指导应该确定对虚拟影像最合适的色调，以便实现无缝而自然的合成。为此，Vive Studios开发了一种功能部件，它会读取每一个帧中包含的色调信息，并立即调节虚幻引擎中提供的基本后期处理选项，例如白平衡、伽马值和曝光。使用该功能时，会在LiveComp时间轴中创建关键帧，用以在虚幻引擎中实时应用色彩信息。这使得Vive Studios能够以更直接的方式应对现场的色彩问题。
图像由Vive Studios提供
SC Player
SC Player用于产生直接投影到大型LED幕墙或投影墙上的图像。这是一种用于摄像机内影像的播放器，它会接收外部摄像机移动信息，并实时在虚幻引擎中渲染图像。不过，在起亚的AR发布会直播中没有安装实体LED幕墙，SC Player的镜头是来自AR Player，从而在增强现实中呈现了大型的虚拟LED幕墙，使它看起来就像是实际存在于现场的幕墙。
图像由Vive Studios提供
图像由Vive Studios提供
通常，当AR Player和SC Player的摄像机相互同步、一起移动时，视觉空间感可以达到极致。SC Player也可以实时从外部摄像机接收跟踪数据以应用CG影像，而且提供了各种跟踪数据的接收方法。和AR Player一样，SC Player可以使用设备制造商提供的插件，也可以通过直接分析FreeD数据来使用它们。另一种可用的方法是将摄像机位置、摄像机角度和视角等数据从AR Player的套接字信道发送到UDP信息包，然后由SC Player接收来同步摄像机，如下图所示。UDP方法中的套接字通信在发送大量数据时优于TCP/IP方法，而且可以通过虚幻引擎的Simple TCP UDP Socket Client插件轻松实现。通过这种方法，AR Player的摄像机和SC Player的摄像机实现了完全同步，能够完美地一起移动。
图像由Vive Studios提供 焦距、光圈等实时传输的数据都会应用到摄像机（不包括位置和角度）。
图像由Vive Studios提供 插值功能流畅应用位置和角度数据。
虚拟LED幕墙显示
如果将SC Player的镜头直接投影到实体LED幕墙上，则必须先应用歪像畸变再投影，这样才能定义摄像机拍摄区域的视锥并应用实体LED形状。但是在这个项目中，SC Player的输出镜头直接传送到AR Player并用作虚拟LED幕墙形状，如下图所示。然后传送的镜头会加上LED幕墙形状的遮罩，然后其他AR组件和外部镜头都合成在一起。这种虚拟LED幕墙过程使AR组件和LED幕墙上的镜头能够即时响应实体摄像机的移动，让人感到有一个全新的维度扩展到了LED幕墙之外。此外，两个具有不同光源、雾和后期处理设置的空间也可以在一个空间中同时显示。
图像由Vive Studios提供
总结
在准备阶段，为了最有效地在起亚“AR嘉华”发布会直播中提供基于虚幻引擎的高品质AR图像，Vive Studios考虑过多种方法。这家创意工作室把重点放在提高各种功能的操作效率上，例如链接远程控制程序LiveComp，基于Composure的镜头畸变校准和合成，以及现场即时色彩校正。虚拟LED幕墙显示方法也创造了更立体的空间视图。在短短的准备时间内取得成功的原因是，Vive Studios积极利用了虚幻引擎提供的各种功能与插件，并在此基础上根据需求快速开发和测试了附加功能并迭代此过程。
因此，Vive Studios通过这次AR发布会直播向世界各地的客户提供了AR/VR解决方案服务。团队在经验丰富的计算机图形设计师和AR/VR研发工程师的帮助下提供了顶尖的技术，推动了该技术向新的高度发展。虚幻引擎正在各种领域得到应用，而这个案例已经成为一个令人惊叹的体验，创造了为各行各业提供和改进流送展会服务品质的机会。它也成为Vive Studios继续创新和进步的基础。
有兴趣进一步了解这个项目以及Vive Studios的创新解决方案吗？请访问vivestudios.com了解更多信息。