僅 2022 年上半年，就有四家 VR 巨頭對自家 VR 設(shè)備的手勢交互技術(shù)操刀改良。

4 月 20 日，Meta 旗下的 VR 頭顯 Oculus Quest 2 手勢交互版本迭代至 2.0，解決了手部定位丟失的問題。4 月 13 日，字節(jié)跳動旗下的 VR 品牌 Pico 宣布其兩款企業(yè)級 VR 頭顯可以通過定制的手部追蹤配件，提升手勢交互體驗。VR 廠商 HTC 也在今年 1 月發(fā)布了一款新款腕式追蹤器，輔助預(yù)測用戶的手部位置。

▲ Oculus Quest2 手勢交互 1.0 版本和 2.0 版本在手部快速追蹤方面的對比

無論是裸手交互技術(shù)，還是手部追蹤配件，用于 VR 設(shè)備的手勢交互技術(shù)一直在不斷迭代。同時，不少 VR 企業(yè)還在嘗試尋找新的手勢交互方式，比如說 VR 手套。

5 月 6 日，荷蘭 VR 手套制造商 Manus 宣布其新款采用磁力追蹤技術(shù)的 VR 手套 Quantum Metagloves 開啟預(yù)售。5 月 4 日，國內(nèi)動捕技術(shù)巨頭諾亦騰發(fā)布 Hi5 2.0 VR 交互手套。而早在 2021 年 11 月，Meta 就曾展現(xiàn)自家的 VR 觸感手套模型，分享自己在 VR 手勢交互方面的最新成果。

▲ 從左到右分別為 Manus、諾亦騰、Meta 的 VR 手套

不僅如此，蘋果、谷歌、微軟等一些潛在 VR 玩家還獲批多項與智能戒指有關(guān)的專利，試圖將智能戒指打造為下一代手勢交互的關(guān)鍵輸入設(shè)備。

手勢交互技術(shù)是最基礎(chǔ)也是最自然的交互方式，也是 VR 設(shè)備中主流的交互方式之一。一般來說，手勢交互是指通過數(shù)學(xué)算法來識別人類手勢的技術(shù)，包括圖像獲取、手勢追蹤、手勢識別與分析等多個過程。

其中，手部追蹤和手勢識別是手勢交互中較為關(guān)鍵的兩個步驟。手部追蹤是指準(zhǔn)確地在 VR 頭顯中定位用戶雙手的位置，而如何精準(zhǔn)地識別每個手指的動作，識別手的各種形態(tài)等屬于手勢識別。

手勢交互技術(shù)也暗藏巨大的市場空間。國際市場分析公司 Markets and Markets 發(fā)表報告稱，2024 年“手勢識別和無觸碰感知”市場將達到 340 億美元。

VR 設(shè)備的手勢交互技術(shù)有了哪些新玩法？廠商為何都在近期升級自家 VR 設(shè)備的手勢交互技術(shù)？VR 設(shè)備的手勢交互技術(shù)發(fā)展究竟如何？

我們與諾亦騰 CTO 戴若犁、夢想綻放（愛奇藝智能）技術(shù)負責(zé)人史明以及 HTC 的技術(shù)負責(zé)人等多位行業(yè)人士深度交流后，試圖找到答案。

拋開手柄，VR 游戲可以裸手玩

相較于其他移動設(shè)備，用于 VR 設(shè)備的手勢交互技術(shù)進步較為緩慢。比如說，從 3dof 到 6dof 經(jīng)歷了近五年的發(fā)展時間，手柄交互到裸手交互仍處在初期階段。隨著技術(shù)不斷進步，裸手交互也開始在不少消費級 VR 頭顯上普及。

Meta 曾在 2019 年發(fā)布手勢交互 1.0 版本，并將裸手交互引入 Oculus Quest VR 頭顯，讓用戶可以直接在虛擬世界中看到自己的雙手，并進行一些簡單的交互操作。時隔 2 年后，Oculus Quest 2 擁有了手勢交互 2.0 版本。

此次升級主要解決了兩大難題。一是解決了用戶雙手重疊時，手部追蹤困難的問題。在 Quest 2 的手勢交互 1.0 版本中，當(dāng)用戶的雙手相互阻擋或重疊時，系統(tǒng)很難識別用戶的手勢動作。二是在用戶快速揮動雙手時，系統(tǒng)也很容易丟失對于手部的追蹤。這兩種情況的發(fā)生都有可能會造成雙手從虛擬世界中突然消失。

▲ Quest2 手勢交互 1.0 版本和 2.0 版本對比

至于是如何解決這兩項問題，Meta 在其公告中說明，基于“重新設(shè)計的計算機視覺和機器學(xué)習(xí)方法”，新版本提高了手部跟蹤的性能可靠性。但自從版本更新后，我們看到不少用戶反饋到，盡管手勢交互功能有了更好的體驗，但是系統(tǒng)也出現(xiàn)了明顯的卡頓。

對此現(xiàn)象，戴若犁解釋到 VR 頭顯處理計算的能力本身就比較有限，而 Meta 基于計算機視覺獲取數(shù)據(jù)，并將一部分算力資源用來預(yù)測用戶手部位置，這種方案無疑將會為 VR 頭顯帶來較大的計算處理壓力，也是“系統(tǒng)卡頓”現(xiàn)象的主要原因。

HTC 也在今年 3 月推出了新款的腕式追蹤器 VIVE Wrist Tracker，并且在去年年底升級自家的手部追蹤版本。據(jù) HTC 官網(wǎng)信息介紹，當(dāng)用戶將腕式追蹤器戴在手腕上時，即使在一段時間內(nèi)雙手離開相機視野，系統(tǒng)也可以通過腕式追蹤器的高頻 IMU 數(shù)據(jù)和運動學(xué)模型預(yù)測手部的運動軌跡。

HTC 的相關(guān)負責(zé)人還向智東西分享到，相比 VIVE Focus 3 控制器，VIVE Wrist Tracker 移除了按鈕、觸覺輸入等零部件從而縮小電池尺寸，將控制器變得更小更輕。據(jù)介紹，HTC 的手腕追蹤器比 VIVE Focus 3 控制器小 85%，重量輕 50%。

▲ VIVE Wrist Tracker 腕式追蹤器

我們可以看到，Meta 的裸手交互方案仍是計算機視覺為主，HTC 的裸手交互方案則需要依靠腕式追蹤器等外設(shè)。前者能幫助用戶快速、有效地體驗裸手交互的樂趣，而后者通過慣性傳感器提高一定程度手勢交互的準(zhǔn)確性和可靠性。面對不同的應(yīng)用場景，不同廠商 VR 設(shè)備的裸手交互方案各有側(cè)重。

但裸手交互一定會給人們帶來更好地體驗嗎？戴若犁在采訪時說：“在技術(shù)成熟度尚未達到的時間點，將裸手交互這類人機交互新方式嵌入操作系統(tǒng)中，會給人們過高的期待?！?/p>

“從操作成功率和觸感反饋來說，手柄在樂趣以及操作準(zhǔn)確性上要遠勝裸手交互?！彼忉尩剑谌藱C交互領(lǐng)域，80% 的操作準(zhǔn)確性和 100% 的操作準(zhǔn)確性給用戶帶來的交互體驗是完全不一樣的。

微軟亞洲研究院網(wǎng)絡(luò)圖形組首席研究員童欣曾在 2017 年接受媒體采訪時證實這一點?！爱?dāng)我手握手柄的時候，手柄不僅是一個輸入設(shè)備，同時也是輸出設(shè)備，它可以通過震動、力反饋給我一個輸出的反饋。而當(dāng)我空手在空氣中揮舞的時候，我就失去了自己的輸出渠道。”

有限的計算消耗、較高的學(xué)習(xí)成本、較低的操作準(zhǔn)確性等都是阻礙 VR 設(shè)備裸手交互技術(shù)發(fā)展的主要原因。但在交互體驗上，裸手交互也將會給 VR 內(nèi)容生產(chǎn)者提供更多的發(fā)揮空間。不少 VR 設(shè)備中，裸手交互作為一種輔助的手勢交互方式。

大廠們爭著做的 VR 手套，B站 100 元搞定？

為了在裸手交互帶來的沉浸感和 VR 手柄提供的高準(zhǔn)確性之間尋找到平衡點，VR 廠商們又想出了另一種手勢交互方式 ——VR 手套。

目前，VR 手套存在比較多的形態(tài)，但是真正可以大規(guī)模量產(chǎn)和銷售的 VR 手套主要分為基于慣性傳感器和基于彎曲傳感器兩種類型。

不同于基于計算機視覺手勢交互的數(shù)據(jù)處理方式，以慣性傳感器為主的 VR 手套將通過傳感器收集大量的手部定位和手指交互的數(shù)據(jù)。而以彎曲傳感器為主的 VR 手套則測量精度較低，由于對于貼合程度的要求較高，其可穿戴設(shè)備的舒適度也較低。

我們有機會搶先體驗到 Hi5 2.0 VR 交互手套。一副 Hi5 2.0 VR 交互手套共有 12 個慣性傳感器，每只手佩戴六個無線傳感器，分布五個手指和手背上。同時該套裝還將配有一個數(shù)據(jù)收發(fā)器，可以插在電腦或者 VR 頭顯上傳輸數(shù)據(jù)。

▲ Hi5 2.0 VR 交互手套

打開傳感器、安裝傳感器、固定好手部追蹤器，選擇校準(zhǔn)界面，Hi5 2.0 VR 手套的校準(zhǔn)方式比我們想象的要復(fù)雜一些。

在體驗過程中，我們發(fā)現(xiàn) Hi5 2.0 VR 交互手套能提供較為精準(zhǔn)的手勢識別過程，比如說手部的位置和手勢的變化基本都能實時顯示變化。據(jù)官網(wǎng)介紹，該設(shè)備的姿態(tài)計算幀率從 180fps 提升至 500fps，研發(fā)人員還通過算法提高了一定的抗磁干擾程度。

▲ 諾亦騰研發(fā)人員正在校準(zhǔn) Hi5 2.0 VR 交互手套

除此之外，研究人員也在嘗試不同的 VR 手套設(shè)計方案。

2021 年 11 月，Meta 公布了其研發(fā) 7 年的 VR 觸感手套原型，這款 VR 手套用微型氣閥取代了電機，通過復(fù)雜的控制系統(tǒng)調(diào)整手指上的充氣儀器，形成擬真壓力，從而模擬各種觸感。

▲ Meta 觸感手套

荷蘭 VR 手套開發(fā)商 Manus 的 Quantum Metagloods VR 手套則是基于磁力追蹤技術(shù)打造而成。

與諾亦騰選擇用算法去減輕天然環(huán)境造成的磁干擾，保證追蹤穩(wěn)定性的方案不同，通過磁力追蹤的手勢交互方案需要兩個設(shè)備協(xié)作完成，一個設(shè)備內(nèi)設(shè) xyz 三個方向的線圈，同時 VR 手套中也將內(nèi)含一個線圈，兩個線圈將以高頻振動的方式產(chǎn)生磁力線，兩條磁力線互相切割，從而獲得手的位置變化。

盡管 VR 手套能提供較為準(zhǔn)確的手勢動作捕捉，但 VR 手套的價格成本決定了其只能面向小部分極客玩家和商用市場。

據(jù)悉，Meta 手套的原型成本約為 5000 美元（約 33400 元），而 Manus 的 Quantum Metagloods 的預(yù)售價為 9000 美元（約 6 萬元），諾亦騰的 Hi5 2.0 VR 交互手套，售價為 9800 元人民幣。

▲ 從左到右分別為 Manus、諾亦騰、Meta 的 VR 手套

Meta 曾將研發(fā) VR 觸感手套的項目描述為“登月計劃”?！爱?dāng)我們開始研發(fā) VR 觸感手套時，我們希望打造一款可以大規(guī)模量產(chǎn)，消費者買得起的消費設(shè)備，讓人們在任何地方都能體驗到虛擬世界。”Meta 的項目負責(zé)人說：“但這幾乎不可能?！?/p>

在調(diào)查的過程中，我們還發(fā)現(xiàn)B站上有不少 UP 主自制 VR 手套，這些價格的成本從 100 元到 350 元不等，部分 VR 手套甚至擁有力反饋功能。我們看到這些自制的 VR 手套可以用于一些簡單的 VR 游戲中，可以做出拿、捏、翻轉(zhuǎn)等一些簡單手勢動作，但其顯示延遲情況也較為明顯，時常會出現(xiàn)一些鬼畜場景。

▲ B站 UP 主們嘗試自制 VR 手套

面對 VR 手套的巨大價格差距，一位從事 VR 手套的行業(yè)人士分析認(rèn)為面向 B 端市場的 VR 手套成本主要在研發(fā)投入、零部件以及人力資源成本上，價格根據(jù)市場需求而定。這意味著可能做一幅普通 VR 手套的價格并不高，但做一副可以面向商用場景、提供準(zhǔn)確精度的 VR 手套需要較高的成本。

盡管 VR 手套能兼顧 VR 設(shè)備的沉浸感和手勢交互的準(zhǔn)確性，如何降低 VR 手套的價格將是 VR 手套發(fā)展必須要解決的難題。

想要擁有自由的“雙手”？要從算法、工程、交互設(shè)計攻克難題

從裸手交互和 VR 手套交互兩種方式來看，VR 設(shè)備的手勢交互技術(shù)發(fā)展正在不斷更新迭代，此前面臨的一些困境也逐步尋找到了解決方法。但整體而言，用于 VR 設(shè)備的手勢交互技術(shù)還存在不少難點。

到底是什么阻礙了我們?nèi)拥?VR 手柄，無法采用新的手勢交互方式？國內(nèi) VR 頭顯奇遇系列的研發(fā)人員、夢想綻放（愛奇藝智能）的技術(shù)負責(zé)人史明在接受智東西采訪時給出了三個要點。

首先是算法層面。目前用于 VR 設(shè)備的手勢交互技術(shù)基本采用深度學(xué)習(xí)技術(shù)，因此研發(fā)過程中需要依賴大量的業(yè)務(wù)場景標(biāo)注數(shù)據(jù)。而基于手勢的三維數(shù)據(jù)獲取成本高，并且難以保證數(shù)據(jù)質(zhì)量和一致性。

▲ 手勢交互的關(guān)鍵點識別

其次，手勢交互技術(shù)在工程優(yōu)化方面比較復(fù)雜。手勢交互技術(shù)需要以一個優(yōu)異模型為前提，需要做小模型推理演繹。而推理過程中，研究人員既要保證算法的精確度，又要保證數(shù)據(jù)的實時高效性。

最后是在交互使用方面的設(shè)計。VR 研發(fā)人員需要在設(shè)計手勢交互相關(guān)操作時規(guī)避視覺死角問題，同時還要為用戶提供較好的交互體驗。

關(guān)于手勢交互的設(shè)計這一點，曾擔(dān)任 Facebook Reality Labs 設(shè)計師劉曉雨也曾在采訪中提到手勢交互技術(shù)很容易在使用期間出現(xiàn)遮擋情況，設(shè)計手勢交互動作時還需要考慮用戶的學(xué)習(xí)成本。

除此之外，微軟亞洲研究院網(wǎng)絡(luò)圖形組首席研究員童欣還曾提到對于手勢識別而言，機器很難分清輸入狀態(tài)和非輸入狀態(tài)。與鍵盤的按鍵交互方式不同，機器很難去分辨你搖手的動作，是做出一個揮手的手勢，還是玩累了想要甩手休息。

總體而言，用于 VR 設(shè)備的手勢交互技術(shù)整體上主要面臨兩個方面的難題。一方面是哪一種手勢交互方式能兼顧沉浸感、準(zhǔn)確性并且成本低，能用于所有的 VR 設(shè)備。另一方面是，如何根據(jù) VR 設(shè)備的基礎(chǔ)配置打造出最適合這款設(shè)備的手勢交互功能。

可以預(yù)見的是，在裸手交互技術(shù)能獲得較高的精度、VR 手套成本下降之前，手柄將仍是 VR 設(shè)備手勢交互的主流方案之一。

結(jié)語：手勢交互技術(shù)或成 VR 體驗升級關(guān)鍵

目前，用于 VR 設(shè)備的手勢交互總共分為三個方向：現(xiàn)有的手柄交互方式、正在逐步成為主流的裸手交互方式、和仍在小眾階段的外接可穿戴設(shè)備的交互方式。但值得注意的是，這三種交互方式并非替代關(guān)系，是可以實現(xiàn)共存。

在手機、電腦快速發(fā)展的時期，無論是鍵入，還是觸屏的交互模式，都曾給人們帶來新的交互體驗，手勢交互同樣會給 VR 設(shè)備體驗和 VR 內(nèi)容生產(chǎn)帶來新的變化。

手勢交互的技術(shù)發(fā)展總會有無窮無盡的方向，但被時代所留下的手勢交互技術(shù)終究是少數(shù)，用于 VR 設(shè)備的手勢交互技術(shù)將會如何演進，或許時間能告訴我們答案。