Meta 如何捕捉人类输入来控制虚拟世界？
尽管增强现实 (AR) 市场在增长，但智能眼镜领域的起步较慢。智能眼镜仍然是一种奢侈品，就像虚拟现实耳机 (VR) 一样，但缺乏系统销售软件略微阻碍了 AR 硬件的增长。尽管如此，对 AR 硬件和软件的需求正在促使沉浸式公司争先恐后地创建相关服务。
市场上有许多很棒的智能眼镜产品。一系列全球公司和分销商正在为一线员工发布硬件。
随着 Nreal 和 Ray-Ban 设备的首次亮相，消费者开始接触到包含越来越复杂的组件和软件的智能眼镜。据测算，2022 年消费级 AR 智能眼镜厂商出货量约为1419 万台。
随着 AR 解决方案的发展，Meta 正在探索改进用户输入以匹配新兴硬件的方法。Meta 正在投资神经生物反馈技术，以改变 AR 眼镜行业。
在 AR 背景下定义肌电图或 EMG
肌电图 (EMG) 是一种硬件技术，它使用传感器检测和记录肌肉的电活动，并将其转换为 AR 可穿戴设备的输入信息。
多年来，EMG 一直是一种检测人体或动物运动异常的医学技术。神经学家、物理治疗师和生物医学工程师等科学专业人士通常使用 EMG 技术来诊断和治疗疾病。
AR 和 EMG 就绪沉浸式设备支持一种人机交互 (HCI) 形式，它否定了鼠标或键盘等传统输入方法。EMG 设备用户不需要移动他们的手腕、手或其他肢体。
相反，用户可以使用他们的想法向肢体发送电信号。EMG 就绪设备检测到这一点并将其转换为涵盖导航和输入的计算机信号。
EMG 在AR 和 VR中有很多应用。例如，正在进行的研究表明，脑瘫患者可能能够使用支持 EMG 的界面在虚拟世界中重建神经肌肉控制和协调运动。
Meta 的研究还试图利用 EMG 使用户在虚拟世界中的移动更加无缝。这个想法是你会戴上一副 AR 眼镜和一个 EMG 腕带。
Meta 用 EMG 做什么？
Meta 的 EMG 之旅始于 2019 年，当时它以未公开的价格收购了 CTRL Labs。据估计，这家总部位于门洛帕克的公司的收购成本在 5 亿至 10 亿美元之间。
当时，它是为数不多的从消费者角度做 EMG 的公司之一，另一家是 Thalmic Labs。Thalmic Labs 从那时起更名为 North，谷歌于2020 年 6 月收购了该公司。
当 Meta 收购 CTRL Labs 时，该公司接管了该公司在训练有素的 EMG 模型方面的关键知识产权。CTRL Labs 已经创建了自定义虚拟键盘，可以根据用户肌肉的电活动来适应用户独特的打字模式、怪癖和速度。
此外，Meta 于 2022 年 9 月收购了 Haptic 初创公司Lofelt。此次收购是在 FTC 吸收 Meta 实践的过程中进行的，这使这家总部位于门洛帕克的公司能够设计先进的触觉和感觉反馈系统，以符合其 HCI 和 EMG 路线图。
元研发综述
这项工作为 Meta 与 EMG 在其 Reality Labs 部门下进行的沉浸式硬件和软件研发 (R&D) 合作奠定了基础。这是一个快速综述：
6 年前，即 2015 年，Facebook 开始研究 AR 眼镜的输入设备。它认为基于手腕的可穿戴设备将是最符合人体工程学和最高效的解决方案。
在通过 CTRL Labs 获得 EMG 功能之前，它已经探索了其他技术，例如情境化 AI。但这些还需要几年的努力。
EMG 元初始版本将包含“点击”手势。Click 是一个捏合和释放动作，这将是 Meta 的 AR 等同于单击鼠标按钮。
Meta 的 EMG 的未来版本将具有更高级的控件。例如，您将能够触摸和移动虚拟对象，例如在鼠标上拖放。
EMG 将与 Meta 的底层 AI 一起工作。假设您想在虚拟世界中锻炼身体。AI会呈现个性化的播放列表，你可以通过意向选择播放列表。
当您通过 EMG 提供输入时，您应该能够获得触觉反馈。Meta 正在开发多个原型来研究腕带触觉，包括 Bellowband 和 Tasbi。
现实实验室重组
虽然，尽管 Reality Labs 不断创新，但细分领域还是让 Meta 付出了不小的代价。这家总部位于门洛帕克的公司在进行重大内部改组后，于 2022 年 7 月大幅减少了对其沉浸式研发实验室的支持。
Meta 的重组导致公司取消和推迟了几个内部扩展现实 (XR) 项目，包括其 XR 智能手表、Orion 智能眼镜和 Project Nazare。
不过，Meta 在 7 月的改组期间并未提及 EMG R&D，这使该项目的未来受到质疑。
用于 Meta 的 AR 视觉的 EMG 的主要特征
与情境化 AI 相比，Meta 选择 EMG 是公司相对较新的技术，原因有几个。
大多数神经技术都非常复杂，要为消费级商业化做准备具有挑战性。在这方面，EMG 更可行。与直接的脑机接口不同，EMG 不需要插入芯片，也不需要打破皮肤屏障。
用户可以戴上或摘下，设备可以通过长时间使用逐渐“学习”用户的习惯。
此外，EMG 和基于手腕的可穿戴设备是绝配。您可以轻松地将计算资源、天线、电池和多个传感器安装到支持 EMG 的智能手表类设备中。
这有助于 CTRL 实验室在该领域的出色工作使 Meta 领先于竞争对手。由于这家总部位于门洛帕克的公司致力于 Meta Quest Pro 等项目，该项目正在通过手部和眼动追踪改变沉浸式输入，EMG 等技术可能会成为用户体验功能的另一种选择。
前进道路上的挑战与机遇
在通往 AR 的主流 EMG 开发和部署的道路上仍然存在一些担忧。Meta 和其他公司必须调整这些设备以适应各种可访问性考虑因素。
隐私和安全是其他挑战，因为支持 EMG 的设备可以读取您最私密的电脉冲。为此，FRL Research开展了一项神经伦理学项目，以尽早发现并解决这些问题。
由于其最近的 EMG 进步，Meta 已将自己定位为从这个机会中获益，因为它创新和探索新的输入方法。
文章来源: xrtoday
我看AR登载此文出于传递更多信息的目的，并不代表本站观点，如有侵权请联系删除。