VR已死？VR万岁？总结现实经验，业界必须转向下一代沉浸式视频。代表全球移动网络运营商利益的GSMA承认，VR继续遭受“后炒作现实”的困扰。同时，GSMA指出，当前的移动生态系统是AI和沉浸式现实的“实验室”：“尽管智能手机战争以应用经济为中心，但新的战场是AI开发和向沉浸式现实的推动。”

分析师预测，全球AR和VR市场将增长。基于平板电脑和智能手机销量，Prescient＆Strategic Intelligence预测的年度增长率为42.9％，到2030年将达到12.74亿美元。

未来资源咨询公司（Futuresource Consulting）预计，到2020年，市场将保持相对平稳，预计已经出货的VR和AR头戴式设备不到1800万。它说，这主要是由智能手机VR观看者推动的，该观看者占所有VR出货量的一半以上。预计市场组合将快速发展，但是，根据Futuresource Consulting预测，到2024年，控制台VR头戴式耳机，PC头戴式耳机和多功能一体机（例如Oculus的Quest 2）将保持稳步增长。

简而言之，VR未能成功起飞，但它的时间将再次来临。本文回顾了发生了什么，现在正在发生什么以及沉浸式视频的下一步。

Facebook在2014年以30亿美元的价格收购Oculus时，点燃了VR的导火线。VR科技和制作公司成倍增长，到2017年达到顶峰。Jaunt从迪士尼，谷歌和天空等公司筹集了1亿美元，然后在2019年被Verizon收购。从这以后，事情就失败了。诺基亚在其OZO部门中处于边缘。谷歌关闭了其虚拟现实平台Daydream。NextVR市值达到8亿美元，然后于2020年出售给苹果。

“高清市场被过度炒作，除了基于CG的VR游戏之外，没有取得有意义的结果”，超高清论坛主席兼Harmonic视频策略副总裁Thierry Fautier说。“由于晕车和'纱门效应'等严重问题，VR技术未能令人信服，并且质量不够好（可能需要4K与16K的对比）。5G和具有8K功能的新型HMD（头戴式显示器）实现了VR浪潮。”

2017年，与5G部署相关的VR和AR的炒作周期开始了。同年4月，韩国电信和Verizon在一次演示中声称拥有世界上第一个端到端5G网络，其中一名Verizon员工以全息图的形式出现在韩国电信总部的显示器上。

韩国电信发言人告诉《韩国先驱报》：“如果将5G网络商业化，则3D全息视频通话将成为基于5G的代表性服务之一。” “通过完整的全息视频通话，用户将能够以真实大小实时与偏远地区的人见面。”

在MWC 2018上，韩国的SK Telecom推出了8K“社交虚拟现实”和“全息AI”。同年9月，沃达丰通过5G展示了英格兰女足队长的实时全息外观。2019年2月，英国移动运营商EE通过在BAFTA大奖上的红毯上展示了“数字超级名模” Shudu的全息图，展示了其5G网络。在MWC 2019上，中兴通讯和中国电信合作展示了行驶中的公交车提供的5G 8K VR全景直播。

多年来，业界一直在围绕5G进行宣传，尤其是其“改变游戏规则”的功能可实时流式传输视频游戏和AR / VR体验。毕竟，5G是第一个可以提供VR和AR移动应用程序所需的速度（100Mbps）和延迟（10 ms）的网络基础架构。但是，尽管有来自苹果，微软，谷歌和Facebook的巨额投资，VR / AR仍远非主流。

身临其境的内容创建者REWIND的创始人兼创始人Sol Rogers在为《福布斯》撰写的一篇文章中说：“缺乏合适的支持网络是导致VR主流采用速度比预期缓慢的原因之一。” “ 5G将迎来沉浸式和云连接体验的下一个时代。更快，更统一的数据速率，更低的延迟和更低的每比特成本将确保这一点。”

澳大利亚，英国和美国的VR头戴设备的拥有量已从2017年的峰值下降。2017年，美国13％的家庭拥有一台，而到2019年，这一数字已降至8％。根据GSMA的说法，“昂贵，笨拙的硬件以及持续的眩晕挑战并没有帮助，但也应归咎于游戏之外有限的内容库和缺乏边缘基础设施。”

体育联盟和广播公司继续将VR视为提高观众兴趣的一种手段。挑战将是说服付费电视客户在已经转向价格更低，更灵活的流媒体套餐的相反方向时为VR广播花更多的钱。

甚至到2030年VR / AR的12亿美元的市场规模与现有的超过10亿美元的电竞市场价值或GSMA到2025年预计的1.52万亿美元的全球移动总收入相形见绌。

“ XR（扩展现实，VR，AR和混合现实或MR的总称）令人失望，因为它没有满足围绕它的大肆宣传，但事后看来，这些期望大都是错误的。” Futuresource Consulting的研究分析师Stephen Mears说。“要使XR真正起飞，就需要进行太多的技术开发并且彼此相吻合，而且还有许多步骤要走。值得注意的是，改善的视觉效果必须与空间音频技术相结合，同样，SoC 必须针对特定的XR用例进行进一步开发。”

AR有所不同，因为它本质上更适合于移动移动计算。Google，Microsoft和Magic Leap很快意识到，AR早期最大的潜力在于B2B。甚至联想也已经推出了用于制造的AR平台ThinkReality。

Fautier说：“消费级AR很难，因为该技术无法以消费者满意的价格交付消费者期望。” “ Google Glass的失败是因为体验存在缺陷并且价格很高。MagicLeap体验不是很好，生态系统不完整，因为它需要特殊的硬件。

Magic Leap是增强现实（AR）领域的早期领跑者之一，但该公司很快发现未来不在于消费者体验，而在于B2B。

XR这个词现在很流行。未来主义者和战略顾问伯纳德·马尔（Bernard Marr）描述了其组成部分：

• VR：一种完全身临其境的体验，用户可以通过VR头戴设备将现实环境抛在脑后，进入完全数字化的环境。
• AR：通过智能手机，平板电脑，平视显示器或AR眼镜将虚拟对象叠加到现实环境中的一种体验。
• MR：超越增强现实的一步，可以将放置在现实世界中的虚拟对象与真实对象互动并做出响应。

高通公司是XR未来的领先推动者。该芯片制造商正在明确地将XR与5G链接起来，并已促使许多移动运营商商业化了可以戴在头上的“ XR查看器”，该产品可以连接到5G智能手机并由Qualcomm硅片提供动力。高通博客文章说：“正如未来十年的智能手机一样，Mobile XR有潜力在未来十年成为世界上最普遍和最具破坏性的计算平台之一。” “在将来的某个时候，我们会看到智能手机，移动VR耳机和AR眼镜已经融合到一个可穿戴的XR中。……XR眼镜可以取代生活中的许多其他屏幕，甚至像生活中的电视一样大。”

全球最大的无线网络运营商中国移动（Deutsche Telekom，EE，KDDI，Orange，软银，Verizon，沃达丰，Telefónica和NTT DOCOMO）也已加入。Deutsche Telekom集团合作和设备高级副总裁Sean Seaton在新闻稿中说：“我们相信，未来十年将过渡到平视社会，最终眼镜将成为智能手机的替代品。”

Qulcomm正在研究扩展现实（XR）眼镜，该眼镜将连接到5G智能手机。如上图所示，这样的眼镜不仅可以帮助急救人员更有效地观察其周围环境，而且可以监视那些急救人员的活动和健康状况。

高通公司支持Nreal，这是一个通过USB-C连接到Android设备的XR查看器，XR所需的所有处理，存储和无线网络连接都可以在手机而不是耳机上进行。包括爱奇艺，3Glasses和松下在内的品牌有望在明年推出带有“ Qualcomm XR Optimized”徽标的小工具。高通公司提到了企业应用程序，例如“如何通过虚拟协作平台的全息网真来革新工作场所会议”。

同时，德国电信（Deutsche Telekom）正在与Orange合作开发消费者XR内容。第一个合作伙伴关系是与位于蒙特利尔的Felix＆Paul Studios提供“ ISS体验”。Orange的数字内容创新总监兼XR负责人Morgan Bouchet说：“ 我们一直在推进开发提供XR / 5G平台的项目，并且面临着共同的挑战：寻找高质量的交互式和沉浸式内容。在这个市场上，供应仍然有限，设计很少，价格不菲且价格昂贵。加在一起，我们可以更好地与更大的竞争者竞争，特别是Google，Apple，Facebook和Amazon，以便购买高级内容。”

两家公司还在体育和电视领域研究XR。德国电信全球合作伙伴和XR业务开发经理Daniel Aslam表示：“我们正在探索XR（沉浸式）媒体用例，例如电视与混合现实眼镜进行交互。我们将在2021年与我们共同开发一个项目，橘子。”

Futuresource Consulting的Morris Garrard说：“短期内XR的增长将由游戏和B2B推动，尤其是在教育和培训方面。” “提高工作场所的生产率将有助于将XR带入消费者的家中。”

也许最大的（非高通公司）XR产品将是苹果的眼镜，有传言称该眼镜将于2021年中期推出，规格可能为8K。

“最终，将出现令人信服的独立XR头戴式耳机和可穿戴设备用例，最有可能最初在企业AR中使用，” Mears说。“但是，业界必须确保无缝的消费者体验，并且至关重要的是，必须让软件和内容开发人员参与其中，以确保在开发这些设备时确实有一些值得做的事情。”

VR和AR需要在20Mbps到30Mbps之间的带宽，因此可以在没有HMD的体育场中使用，Harmonic认为这将是一个流行的用例。多视角，多镜头和多游戏高清视频（也将需要20Mbps）已经在法国电视台的RG实验室中进行了演示。

Fautier预测：“到2025年之前，我们将在移动设备上看到体育场内应用程序。” “对于VR或2D，应用程序是用于实时和追赶动作的多机位，广角摄像机。对于AR，我们设想了得分和统计信息叠加层以及点云以进行体积捕获。我们相信，现在可以通过5G大规模部署体育场。”

借助BT Sport的创新技术，观看茶几上带有3D版本的拳击比赛将成为现实。

XR也不必被视为纯粹的视觉机会。例如，存在可听AR的能力，其中通过语音助手向佩戴者描述了世界。Futuresource Consulting的首席分析师Simon Forrest认为，这可能采取高级可听产品的形式，该产品能够使用基于位置的传感器和空间感知来提供与用户的行为相关的准确的时间，上下文感知的信息。他说：“这将对语音助手中AI的发展以及互联网搜索的运行方式产生影响，因为每次都必须将所有结果说成是最佳答案。”

除了标题速度之外，5G中的超低延迟还有效地使边缘设备和云服务在拓扑上更加接近，从而模糊了可以放置计算资源的边界。此外，网络切片的机会（有效地保留特定应用的保证带宽）将为移动网络提供先进的功能。

Forrest说：“这打开了需要云服务实时响应的新应用程序，而XR one能够充分利用这一优势。” “尽管如此，在大多数发达地区，我们与5G服务的覆盖范围仍相距约5至7年，并且当然，设备将不会以千兆位的速度无处不在地连接，因为这将导致5G网络基础设施的大规模致密化。”

Forrest得出结论，XR产品不能仅仅依靠高带宽毫米波。以26 GHz为中心，毫米波增加了“超级数据层”，可在非常短的距离内提供高达10Gbps的超高带宽服务。他说：“因此，应该将5G视为XR整体解决方案的一部分。” “同时，正在使用板载神经网络加速器来开发SoC。这项创新为Edge-AI提供了机会，极大地提高了XR设备本身可用的计算能力。将其与低延迟5G连接相结合，便可以进行基于云的计算最终，5G可以在边缘和云之间实现计算的平衡，并具有近实时执行的能力。”

Forrest表示，对于家庭XR体验，5G将“基本上毫无意义”，而Wi-Fi 6对于确保低延迟和高质量XR体验，如果正在直接流式传输消费或使用的内容（例如体育节目）。此外，目前处于规范中并计划于2024年商用的Wi-Fi 7（802.11be）标准有望提供30Gbps的峰值连接速度和较低的延迟，可与5G 毫米波直接竞争。Forrest指出，为了将大量本地带宽连接到Internet主干，将需要光纤到户。

诸如通用视频编码（VVC）和基本视频编码（EVC; MPEG-5）之类的新编解码器将有助于减少广播/推送VR应用的视频带宽，并且这些编解码器将与5G和Wi-Fi 6连接一起使用。但是视频帧不一定是XR的最佳技术，并且正在开发替代方案。一种这样的创新是体积捕获技术：可以使用多个摄像机捕获视频，然后生成“点云”，该点云描述了场景中每个像素的3D [x，y，z]坐标和颜色。

“从数千个点开始，创建了一组3D对象，可以在耳机中对其进行渲染；再加上本地计算性能的提高，这为基于图形渲染技术而非视频帧的新型XR产品提供了潜力”，福雷斯特说。

BT Sport正在探索如何在体育馆内捕获体积视频并在5G上提供交互式沉浸式体验，以增强家庭现场直播。创意包括将实时拳击比赛的虚拟体积全息图实时传输到观看者的咖啡桌上。所有这些都处于概念验证阶段，但这是英国政府资助的近4000万美元计划的一部分，该计划旨在开发将推动5G普及的应用程序。 

MPEG中的公司正在积极定义用于点云压缩的算法，以使捕获和传输标准化。它们分别是用于视频和图形的MPEG V-PCC和MPEG G-PCC，它们都试图捕获3D体积数据并显着减少带宽。

Fautier说：“到2030年以后，我们预计将有6DoF光场应用需要在客户端进行大量计算，同时需要新的显示技术。” “那些实例将基于位置的环境。第二个应用程序是用于渲染游戏的免费视口应用程序。尽管该应用程序今天不是实时的，但我们希望它是实时的。”

在2019年，佳能使用其自由视视频系统在橄榄球世界杯上提供精彩视频。该公司表示，该系统“利用位于体育场周围的多个摄像机，将高分辨率的提要进行组合，并转换为3D空间数据，从而随时生成动作的全面三维地图。”

FeMBMS（进一步发展的多媒体广播多播服务）是另一个在5G网络中需要特定软件的应用程序。3GPP版本17中的这种新的移动广播模式解决了流行内容的分发问题，该分发内容最大半径为60 km。Harmonic预计将在2024年的巴黎奥运会上进行首次部署。如果能得出结论，那么它将在2025年之后得到广泛部署。

Fautier说：“移动广播是通配符，因为它在4G中失败了。” “但是，如果在流拥塞的情况下QoE更好，则FeMBMS将成功。MNO将能够通过其网络将其货币化为内容提供商，广播公司或事件组织者（如IOC或FIFA）。”

高通公司表示，如果要让XR起飞，就需要颠覆显示技术。这些“眼镜”的属性包括提供沉浸式VR和有用的AR（对于VR完全不透明，但对于AR至少透明约85％）的视野，驱动至少Rec。的高动态范围（HDR）。2020色域，并以至少约120Hz（每只眼睛）刷新。它的价格也必须低于100美元。

高通公司还表示，大规模采用XR需要5G增强型移动宽带。它指出：“ XR视频将成为5G的杀手锏。”目标属性包括低至1ms的等待时间和均匀的体验-即使在小区边缘。高通公司预测，在未来十年中，5G XR应当能够实现200Mpbs至5,000Mbps的速度，并具有交互式，实时，3D自由视点，6DoF，8K / 90 fps–120 fps HDR视频。

XR设备是通往Magic Leap，Microsoft，Apple，Google和Nvidia等技术巨头针对的真正奖项的门户：理论上讲是3D且具有触觉的下一代互联网，需要围绕语音设计的新型人机交互和手势。

根据Magic Leap的定义，空间计算“可以使数字内容与其物理环境进行交互，并使人们可以与内容无缝地进行交互，而不受屏幕的限制。”该公司通过在诸如日本NTT DOCOMO之类的合作伙伴的5G基础架构上运行空间计算来推动这一发展。

英伟达（Nvidia）希望获得这一在线未来的控制份额的出价称为Omniverse。总裁兼首席执行官黄仁勋（Jensen Huang）在最近的主题演讲中表示，Omniverse最初针对企业，“融合了物理和虚拟世界，以逼真的细节实时模拟现实”。“ Omniverse具有原生的和真实的云，具有路径跟踪和材质模拟功能，允许设计师和艺术家，甚至AI在一个共同的世界中进行连接。这是星际迷航Holodeck的开始，终于实现了。”

文章来源：煤矿工厂