研究人员开发了一种虚拟现实应用程序，其中一系列3D建模工具可以通过用户的手的运动来打开和控制。

来自剑桥大学的研究人员利用机器学习开发了“热手势”——类似于许多桌面应用程序中使用的热键。

HotGestures让用户能够在虚拟现实中构建图形和形状，而无需与菜单交互，帮助他们专注于任务，而不会打断他们的思路。

几十年来，能够在虚拟现实中打开和控制工具的想法一直是电影中的一个比喻，但研究人员表示，这是第一次实现这种“超人”的能力。该研究结果发表在《IEEE可视化与计算机图形学汇刊》上。

多年来，虚拟现实(VR)和相关应用一直被吹捧为游戏规则的改变者，但在游戏之外，它们的承诺尚未完全实现。剑桥大学工程系的Per Ola Kristensson教授是这项研究的负责人，他说:“用户在使用VR时获得了一些品质，但很少有人愿意长时间使用它。”“除了视觉疲劳和人体工程学问题，VR并没有真正提供你在现实世界中无法获得的东西。”

大多数桌面软件用户都熟悉热键的概念——命令快捷键，如ctrl-c用于复制，ctrl-v用于粘贴。虽然这些快捷方式不需要打开菜单来找到正确的工具或命令，但它们依赖于用户记住正确的命令。

“我们想把热键的概念变成对虚拟现实更有意义的东西——一些不依赖于用户头脑中已经有快捷方式的东西，”Kristensson说，他也是人类启发人工智能中心的联合主任。

克里斯滕森和他的同事们开发了“热手势”代替热键，用户用手做一个手势来打开和控制他们在3D虚拟现实环境中需要的工具。

例如，执行切割运动打开剪刀工具，而喷涂运动打开喷雾罐工具。用户不需要打开菜单来找到他们需要的工具，也不需要记住特定的快捷方式。用户可以在任务中通过不同的手势在不同的工具之间无缝切换，而不必暂停工作来浏览菜单或按下控制器或键盘上的按钮。

Kristensson说:“在现实世界中，我们都用手交流，所以将这种交流方式扩展到虚拟世界是有意义的。”

在这项研究中，研究人员建立了一个神经网络手势识别系统，该系统可以通过对传入的手部关节数据流进行预测来识别手势。该系统可以识别与构建3D模型相关的十种不同的手势:钢笔、立方体、圆柱体、球体、调色板、喷涂、切割、缩放、复制和删除。

该团队进行了两项小型研究，参与者分别使用热手势、菜单命令或两者的组合。基于手势的技术为工具的选择和使用提供了快速有效的快捷方式。参与者发现，HotGestures独特、快速、易用，同时还补充了传统的基于菜单的交互方式。研究人员设计了这个系统，这样就不会有错误的激活——基于手势的系统能够正确识别什么是命令，什么是正常的手部运动。总的来说，基于手势的系统比基于菜单的系统要快。

Kristensson说:“目前还没有VR系统可以做到这一点。“如果使用VR就像使用键盘和鼠标，那么使用它的意义是什么?它需要给你在其他地方无法获得的近乎超人的力量。”

研究人员已经公开了源代码和数据集，以便VR应用程序的设计师可以将其整合到他们的产品中。

Kristensson表示:“我们希望这成为与VR互动的标准方式。“几十年来，我们一直在用文件柜这个陈旧的比喻。我们需要与技术互动的新方式，我们认为这是朝这个方向迈出的一步。如果操作得当，VR可以像魔术一样神奇。”

这项研究得到了工程和物理科学研究委员会(EPSRC)的部分支持，该委员会是英国研究与创新(UKRI)的一部分。

作者：剑桥大学

链接：https://www.sciencedaily.com/releases/2023/11/231107131923.htm

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

声明：海森大数据刊发或者转载此文只是出于传递、分享更多信息之目的，并不意味认同其观点或证实其描述。若有来源标注错误或侵犯了您的合法权益，请作者与本网联系，我们将及时更正、删除，谢谢。电话：15264513609，邮箱：1027830374@qq.com