Esther｜编辑

自从Quest一体机开始支持手势识别以来，出现了《The Curious Tale of the Stolen Pets》、《Cubism》、《Waltz of the Wizard》等多款支持手势交互的有趣VR游戏。除此之外，为了展示手势交互效果，Facebook也推出了官方的demo应用，比如《Elixir》、《First Steps》等等。

近期，VR开发者Luca Mefisto与Facebook合作推出了一款Quest手势交互开源工具包，为开发者们提供标准化的手势交互开发方案，同时推动Quest手势识别应用开发和普及。据悉，该工具包耗时半年时间开发，为了展示各种工具的效果，还在App Lab上发布手势识别demo应用《Pirates》。

在《Pirates》中，你可以体验多种不同的手势交互，比如：掌舵、装炮弹、点燃大炮、拿书、开瓶、取漂流瓶中的信、打开宝箱等等。总之，这个开源应用将向开发者们展示各种优质的手势交互样板。

实际上，在手势与虚拟物体交互上，一直存在两大难点。其一，是如何呈现与虚拟物体交互的虚拟手势，而其二，则是如何设计抓住物体时的标准手部动作。

对于第一个问题，一个解决办法是，在手抓住虚拟物体时，触发统一的“抓住手势”动画。也就是说，不管你抓住了虚拟物体哪个部分，在VR中都显示同样的固定画面。这样每次当你看到虚拟手抓取物体的固定动画，就可以确定成功触发抓取动作。与动态手势交互模拟相比，固定的抓取手势动画虽然牺牲了一定逼真感，但稳定性和体验感更好。Oculus认为，为了保证手势识别的准确性和稳定性，目前已经看到越来越多这种类似的设计趋势。

此外，Oculus的手势追踪信号恢复API，可以在丢失手势追踪信号时，利用预设的固定手势动画来取代。这样做的好处是可避免打破沉浸的体验感。

那么对于第二个问题，又该预设什么样的标准抓取手势动画呢？通常，开发者需要对每一种物体分别设计抓取手势动画，为了节省时间和精力，Oculus在开源的工具中提供了自动根据手势追踪来创建抓取动画的功能。并且巧妙运用对称原则，左右手动画直接翻转即可，无需生成两次。

那么，在开发手势交互上，Mefisto遇到了哪些问题，都有哪些经验和心得呢？带着这些问题，Oculus近期采访到Mefisto，以下是采访的主要内容：

Oculus：请介绍一下你自己，以及为Oculus开发游戏的初衷。

Mefisto：我本身就是一名软件工程师，我从2010年开始研究XR技术，在这十几年时间里，我一直看好这项技术。

我之前曾为一家公司开发培训模拟和营销应用，后来随着Oculus DK1问世，这些应用开始支持VR版。于是，在体验过VR后，决定辞职并全身心投入VR开发。后来，我与伙伴共同成立了VRManchester社区，同时也在承接各种VR项目，不管是测试性体验还是商业化应用。

从那之后，我推出了一些VR游戏，并且与知名艺术家和非政府组织合作，以及为大企业和独立公司提供解决方案。此外，还参与规范VR社区、授课等等。总之，我参与并解决VR行业中的许多问题。

Oculus：首次开发手势游戏时的感受？

Mefisto：我现在的一个副业，是与神经心理学家合作，为脑损伤病人开发VR神经康复方案。我发现，对于神经性病人来讲，康复方案的易用性是关键。因此，将手势与VR结合是一个比较直接的方式。

在此前开发的一些测试性项目中，我曾经采用手势识别外设方案，但使用和开发起来并不容易。后来随着Quest手势识别功能出现，让一台VR一体机可以在手柄和手势之间切换，并且配备兼容OVR代码的SDK，手势识别应用的开发难度大幅降低。

Oculus：Quest手势识别有哪些优势？你曾遇到什么样的痛点？

Mefisto：对于接受模拟康复训练的病人来讲，手势交互更容易使用，无需再花时间学习手柄的操作方式，也不用一直握手柄。与此同时，手势交互进一步增强沉浸感，将病人的注意力转移到康复内容中，甚至不会觉得用手操作很奇怪。此外，如果病人在使用VR时失去平衡，由于双手没有手柄，就可以快速做出反应，安全性更高。

不过，手势交互其实并不是完全的简单直接，对于脑损伤的病人来讲，他们可能会深受VR视觉的影响。比如，当他们看到自己的手消失，或抓取物体的动作不正常、信号不好造成虚拟手抖动等情况时，可能会以为这就是现实。

因此，需要额外思考VR手势交互的设计，缓解上述这些问题。于是，就有了这款开源工具。

Oculus：为什么你会想到开发《Pirates》demo？

Mefisto：实际上，开发《Pirates》，并开源手势识别工具包是一个正确的决定。

首先，为了开发这两个东西，我不得不在和以往不同，并且更常见的场景中测试手势识别工具。在这些场景中，我发现了手势识别的多个痛点，并针对他们进行重新设计。重新设计后的手势交互，既可被其他开发者使用，也可以为他们带来一些灵感。

此外，通过《Pirates》也可以让这些工具在更多人群中测试，使用者将不止是开发者，普通玩家也可以体验。

Oculus：与Oculus团队合作开发这款demo应用，有何感受？

Mefisto：在VR开发上，Oculus和我的想法足够合拍。从一开始，Oculus主要是指导我如何优化工具，并为我提供支持，与此同时大方向的决定权交给我。

过去几年里，我更多是独立开发VR内容，因此有Oculus专业人员的参谋和沟通协助，也是一种新鲜的体验。

Oculus：手势追踪开源工具包里都有哪些内容？

Mefisto：这款开源工具的主要功能，是可以设计高质量的抓取手势动画。利用手势追踪来生成抓取物体的手势，过程只需几秒。

此外，还支持抓取表面、镜像手势、倒转等多种简化手势开发的功能。也就是说，你只需要模拟抓取手势一次，就可以多次重复使用。而且，不管使用者手掌形状不同，还是使用手柄，都支持通用的动画。

为了更加方便开发者，这些功能具有一定延伸性，可以使用自己原有的手势预设（prefab）、动画或抓取手势，在此基础上加入开源工具包中的手势，避免增添额外的工作流程。总之这个工具包的目的就是，为开发者们节省一些基础的工作，并且可以通过demo示范来获取一些灵感。

Oculus：为什么要推出开源工具包？

Mefisto：一开始我开发这个工具包，只是为了给病人开发一个体验感自然的抓取手势交互，整个开发流程足够优化，无需动画师，独立开发者也可以使用。

后来，我将自己开发的成果在Twitter上分享，结果发现几乎所有VR开发者和我一样都遭遇过同样的问题，于是这个Twitter帖子在开发者中火了起来。这样我就意识到，如果将成果开源，将对VR开发者社区起到帮助作用。

Oculus：在开发《Pirates》demo时有哪些发现？

Mefisto：最主要的，就是手势识别其实没有一刀切的解决方案，当开发者决定加入手势识别功能，就不得不做出许多选择。这时候，开发者需要首先理解用户的需求，才能做出明智的选择。手势识别与游戏设计同样重要，优质的手势体验可作为提升VR沉浸感的强大工具。

Oculus：你目前在开发什么？

Mefisto：我正在开发的内容包括，在手势追踪信号弱的场景中如何保证手势交互稳定，以及利用手势和姿态来移动，为《Pirates》加入更多案例，自动生成手势动画等等。

Oculus：你希望开发者们如何使用开源工具集和《Pirates》demo？

Mefisto：我希望现有的一些用手柄控制的游戏也能考虑加入开源工具中的手势效果，提升交互的灵敏度和体验的沉浸度，同时节省手势开发的时间。我希望，能看到利用这些工具开发的应用能够登陆Oculus商店，并且获得玩家们的好评。

同时，我也愿意了解开发者们对于这个开源工具集和demo的反馈，比如工具是否难用，缺少哪些关键功能，《Pirates》缺少哪些有趣的交互，等等。

参考：

https://developer.oculus.com/blog/new-oculus-open-source-library-and-pirates-demo-app-qa-with-developer-luca-mefisto-on-hand-tracking-innovation/

（ END）

青亭网

青亭网--链接科技前沿，服务商业创新

2317篇原创内容

公众号

 

每天五分钟，轻松了解前沿科技。    
         —— 青亭网