近日,谷歌宣布正在努力支持云流媒体服务 Immersive Stream for XR ,已在安卓、iOS及PC端推出。如果实现这一点,开发人员将能够提供逼真的图像和体验,即使是集成的 AR / VR 头显。
  当前的移动 GPU 比台式 PC GPU 弱,并且难以渲染逼真的图像。为了解决这个问题,游戏等领域正在引入一种称为“云流”的方法,该方法在云上使用强大的GPU,将渲染的图像流式传输到移动终端。
谷歌云的 Immersive Stream for XR 可以通过云流提供身临其境的体验,用户无需下载应用即可享受沉浸式、交互式和照片级真实感的体验。此外,由于渲染是在云端完成的,硬件规格也大大放宽了。
810.webp
  谷歌表示其团队正在“积极开发 OpenXR 客户端”,以便将流式传输到支持 XR 相关标准的 AR / VR 头显。在现有的 AR / VR 头显中,包括 Meta Quest 2 和 HoloLens 2 在内的设备都与 OpenXR 兼容。据谷歌称,它将支持这些头显的“ VR 模式”和“立体增强模式”。
截至 2022 年 8 月,Immersive Stream for XR 为预览版,可以将渲染结果流式传输到 Android、iOS 和 PC,并提供可以在智能手机等上实际体验的演示。另一方面,目前它不兼容 VR 头显。
  谷歌还评论了云渲染中 AR 体验的“延迟缓解”。例如,在使用 Immersive Stream for XR 体验 AR 时,移动端将摄像头位置和姿势、触摸事件、光照数据等发送到云端。服务器端根据传输的数据,使用强大的 GPU 渲染逼真的图像,并将其作为视频流式传输到移动终端。设备接收传输的视频并将其与从摄像机获得的图像合成并显示。
  但是,从移动设备发送相机位置到在设备上呈现视频需要一些时间。因此,摄像头可能会在流之间移动,导致摄像头图像与用户正在查看的对象不对齐,从而降低用户的沉浸感。
  另一方面,谷歌通过“在世界各地准备的云服务器中使用靠近终端的服务器”来减少延迟。此外,谷歌开发了一种算法,将渲染图像固定到相机图像,即使存在通信延迟,也能实现无图像延迟的沉浸式体验。