随着游戏行业超越电影和电影制作行业，游戏公司正在利用其技术来创造更高水平的沉浸式体验。
Meta、holoride、Improbable、Steam、Sony 等公司和许多其他公司已经开始利用其严肃的游戏技术来实现这一目标。凭借创新的解决方案，越来越多的公司及其客户群通过混合现实 (MR) 平台进入新兴技术。
动作捕捉(mocap)通常用于创建实时 3D (RT3D) 内容，已迅速成为扩展现实 (XR) 市场的中流砥柱，应用于最新的耳机上。
世界上最受欢迎的头显采用前置摄像头、手部和眼部追踪以及 3-6 度飞行 (DoF)，并采用动作捕捉工具来提高用户沉浸感。
计算机视觉和动作捕捉游戏行业的一家资深公司以一种更简单的新颖方法分享了其成功故事。
XR Today 有幸采访到Nex Team Inc 联合创始人兼首席执行官 David Lee。在我们的讨论中，我们探讨了游戏行业沉浸式动作捕捉技术的兴起。
我们还研究了该公司的 Nex Playground 动作捕捉游戏解决方案、基于 Unity 的动作开发工具包 (MDK) 及其与 Sky Live 的合作关系。
XR Today：您能概述一下 Nex Playground 所涉及的技术吗？他们使用专有技术还是第三方技术？
David Lee：我们的旅程始于 2017 年，当时我们想使用手机摄像头创建动作捕捉。这是在苹果 A12 Bionic 芯片发布前后发生的。苹果还发布了 CoreML，它基本上简化了机器学习模型在移动设备上的运行方式。
快进到今天，越来越多的片上系统(SoC) 处理器具有这种处理能力。
旗舰 SoC 现在具备这些功能，并利用它们在设备上进行基本的动作捕捉和运动跟踪。Nex 在其设置框中有效地使用了这些，其中设备上捕获的相机帧被发送到神经处理单元 (NPU)。这是机器学习 (ML) 分析提取身体姿势的地方，我们可以捕获用户的动作。
随后将其传递给游戏引擎以绘制响应它的帧。这就是我们如何实际解释用户在屏幕上的动作，从而允许游戏玩家与内容进行交互。
我们已经对此进行了相当长的一段时间的研究，并将这组技术内置到我们的运动开发套件 (MDK) 中。我们有两个基于Unity游戏引擎开发的套件，并通过单个 RGB 摄像头进行运动跟踪。
这可以跨操作系统（例如在 Nex Playground 设备上运行的 Android）部署动作捕捉功能。我们还提供硬件加速功能，利用 SoC 的底层功能来增强姿势模型的 ML 推理。它还包含许多可以更轻松地构建动作游戏的工具。
我们自己使用 MDK，并与为 Nex Playground 构建视频游戏的外部工作室分享我们的策略。有些技术是内部开发的，其他技术也来自合作伙伴。
XR Today：您最近与 Sky Live 签署了重要合作伙伴关系，它计划如何提高动捕娱乐的采用率？
David Lee：Sky Live 是一款适用于我们 Sky Glass 互动电视摄像机的互动摄像机。电视于去年开始发货，我们的交互式相机于去年六月推出。
它们采用先进的 SoC 芯片，每秒处理 30 帧以提取运动。这是使人们能够构建基于运动的体验的核心技术。
总体而言，该设备有四个主要用例：视频会议、录制通话观看、联网节目观看，最后是运动游戏和健身跟踪以获取锻炼反馈。
Nex 基本上是 Sky 的主要动作游戏合作伙伴，在发布时提供的 27 种体验中，Nex 负责其中的 17 种体验。
该公司与流媒体之外的合作伙伴合作，为人们的客厅带来互动体验。它还将帮助我们扩大向英国市场的家庭和消费者分发游戏的方式。
XR Today：目前市场上有哪些竞争对手？
David Lee：请记住，动作捕捉游戏并不新鲜，而且已经存在很长时间了。你可以算任天堂 Wii、微软 Kinect，任天堂 Switch 也延续了我们已经开始的工作。
与我们之前的游戏系统不同，[我们]不需要耳机、身上的传感器或更复杂的摄像头系统。相反，我们希望构建一个未来，让电视和机顶盒，或者像 Nex Playground 这样的简单硬件，能够让人们玩动作游戏，为大规模采用做好准备。
可以说，我们设想电视机顶盒生态系统的 iPhone 时刻即将到来，其用例将超越单方面流媒体内容，但相机具有高度互动性。
人们对这些体验的兴趣已经越来越浓厚，不同的制造商正在利用自己的技术进入市场。我们只是市场上的进入者之一，拥有可随身携带的摄像头设备。
在发布我们的第一款 Steam 游戏后，我们在过去的几年里将我们的游戏移植到了移动设备上。然而，我们注意到最好的游戏体验是在客厅、家人聚集在一起玩耍的公共空间。
我们公司的目标是将屏幕时间变成活跃的游戏时间，将客厅变成游乐场。
XR Today：作为 Unity 的最终用户，您如何与游戏开发人员合作？
David Lee：同样，MDK 是基于 Unity 的，开发者可以在其中下载 Unity 插件。在这里，他们可以访问 MDK 工具的整个功能集。
我们与具有 Unity 游戏引擎经验的开发人员合作，为他们提供我们的 MDK 的易用性。
那些有兴趣为 Nex Playground 构建游戏的人可以直接联系我们并签署保密协议 (NDA)，随后我们会与他们共享 MDK。
有些人在几个月内就创建了他们的第一款游戏，我们可以快速将其发布到游戏开发者大会 (GDC) 上向其他玩家展示。
这取决于游戏开发者的能力以及他们是否可以快速启动并运行某些东西。然而，虽然入门很容易，但不同工作室的正常游戏开发周期有不同的时间表。这一切都取决于深度、可压缩性以及与游戏及其开发人员相关的其他因素。
一些开发者带来了他们的 VR 体验，并发现将它们移植到 Nex Playground 上非常容易。其他人会创新并想象出以前不可能的新游戏形式，这让我们感到惊讶。对于 Nex 来说，与外部开发者合作并开始将游戏带入生态系统是一段令人难以置信的旅程。
XR Today：您有扩大运营规模的计划吗？
David Lee：我们的 MDK 已经支持在手机、平板电脑、Mac、PC 等设备上部署动作游戏。然而，我们知道电视仍然是最好的体验，因此我们不断增加对它们的支持，包括对 Sky Live 的支持。
除了支持专用硬件 Nex Playground 之外，我们还为 Apple tvOS 17 添加了它。这发生在 Apple 全球开发者大会 (WWDC) 2023 上，会上该公司为 tvOS 添加了连续性摄像头支持。
我们发现所有这些支持摄像头的平台都是动作捕捉游戏的主要目标。这将使我们能够为最终用户构建一个游戏生态系统。我们正在构建捆绑或集成到Sky Live、Nex Playground 等设备上的服务。
这样，我们就可以不断改进 MDK 的功能、支持更多平台并增强我们的工具包。这将使构建游戏变得更加容易，并鼓励开发者将游戏引入平台来构建身临其境的体验。
我们还希望引入知识产权 (IP)，验证平台并根据我们的总体战略对其进行扩展。与我们的发行、开发、IP 和其他合作伙伴一起，我们能够共同为消费者提供那些真正引人注目的体验。
文章来源： xrtoday
我看AR登载此文出于传递更多信息的目的，并不代表本站观点，如有侵权请联系删除