9月21日,PICO展示近期遭泄露的新手柄,并對(duì)外發(fā)布了其自研的Centaur多模態(tài)融合追蹤算法。

　　如前期諜照所示,PICO新手柄去掉了外圍燈環(huán)的設(shè)計(jì),并且沒(méi)有額外增加傳感器。據(jù)PICO官方透露,相比上一代手柄,新手柄重量減輕了約15g,高度減小了50%,并且還優(yōu)化了內(nèi)部電池和馬達(dá)的位置,使其重心更靠近手心,握持手感更好,且兼具細(xì)膩振感。

　　通常,去掉包含LED燈的追蹤燈環(huán),勢(shì)必會(huì)降低手柄的追蹤精度和穩(wěn)定性。而PICO全新自研的Centaur多模態(tài)融合算法,融合了光學(xué)追蹤算法和CV模態(tài)手柄追蹤算法,讓手柄在LED燈減少或處于盲區(qū)的背景下,也能實(shí)時(shí)、有效追蹤。

　　自研Centaur多模態(tài)融合追蹤算法

　　VR設(shè)備的輕量化和小型化,一直是XR行業(yè)探索和努力的方向。

　　基于當(dāng)前行業(yè)主流的“光學(xué)追蹤+慣性導(dǎo)航系統(tǒng)”追蹤方案,開發(fā)無(wú)燈環(huán)手柄會(huì)面臨兩大技術(shù)難點(diǎn):首先,減少LED燈的數(shù)量,會(huì)影響光學(xué)追蹤的穩(wěn)定性;其次,更少的LED觀測(cè)數(shù)量,會(huì)增大手柄初始化與追蹤解算難度。但如果在手柄上增加新的傳感器,這又會(huì)提升造價(jià)成本,并增加手柄的耗電速率。

*PICO 4系列手柄與PICO 全新研發(fā)的無(wú)燈環(huán)手柄

　　PICO全新自研的Centaur多模態(tài)融合追蹤算法,將光學(xué)追蹤算法和CV模態(tài)手柄追蹤算法進(jìn)行了有效融合。這不僅解決了無(wú)燈環(huán)手柄「識(shí)別難」的問(wèn)題,也為XR行業(yè)的追蹤交互提供了新的思路。頭顯既能通過(guò)光學(xué)追蹤算法識(shí)別手柄上LED燈發(fā)出的紅外光,還能夠在LED燈被手部遮擋時(shí),通過(guò)CV模態(tài)追蹤算法識(shí)別裸手的特征,從而準(zhǔn)確還原出手柄控制器的6DoF信息。兩大算法結(jié)合手柄本身具備的慣性導(dǎo)航系統(tǒng),使得新手柄無(wú)需增加新的傳感器,也能實(shí)現(xiàn)穩(wěn)定、精準(zhǔn)的追蹤。

　　創(chuàng)新技術(shù)研發(fā)思路

　　為了率先實(shí)現(xiàn)Centaur多模態(tài)追蹤算法的產(chǎn)品化,PICO組建了跨部門的攻關(guān)小組,包括手柄追蹤算法團(tuán)隊(duì)、裸手追蹤算法團(tuán)隊(duì)和交互數(shù)據(jù)團(tuán)隊(duì)。經(jīng)過(guò)多次論證后,最終實(shí)現(xiàn)了一套基于神經(jīng)網(wǎng)絡(luò)的多模態(tài)手柄追蹤框架,其融合了慣性測(cè)量單元(IMU)、光學(xué)傳感器和手部圖像信息。

* PICO Centaur多模態(tài)融合算法 模型

　　在框架設(shè)計(jì)中,手柄追蹤算法團(tuán)隊(duì)負(fù)責(zé)提升光學(xué)追蹤的穩(wěn)定性,并搭建算法框架;裸手追蹤算法團(tuán)隊(duì)設(shè)計(jì)了SOTA端到端的6DoF位姿估計(jì)模型,提升手部追蹤的穩(wěn)定性;而交互數(shù)據(jù)團(tuán)隊(duì)則通過(guò)自研多源三維數(shù)據(jù)采集設(shè)備與高精重建算法,提供大量標(biāo)注數(shù)據(jù)。

　　這樣的追蹤系統(tǒng),不僅能基于紅外 LED 實(shí)現(xiàn)高精度追蹤,還能夠利用裸手檢測(cè)“隔山打牛”。為了驗(yàn)證效果,PICO還聯(lián)合極客玩家進(jìn)行了極限測(cè)試,在音游、游動(dòng)健身等對(duì)追蹤精度要求極高的場(chǎng)景下,該算法的追蹤效果都可媲美PICO 4的HyperSense振感手柄。

　　搭建全方位自研體系

　　PICO Centuar多模態(tài)追蹤算法的推出,得益于PICO在兩大核心算法上的技術(shù)積累。PICO Neo3和PICO 4兩代產(chǎn)品的打磨,幫助PICO 在光學(xué)追蹤領(lǐng)域積累了扎實(shí)的技術(shù)。與此同時(shí),PICO 在裸手追蹤上也持續(xù)探索,相關(guān)技術(shù)已位列全球第一梯隊(duì)。PICO通過(guò)不斷優(yōu)化端到端的時(shí)序模型、千萬(wàn)級(jí)高精訓(xùn)練集以及MTP延遲測(cè)試方案,在算法延遲與追蹤丟失率方面實(shí)現(xiàn)技術(shù)突破,在游戲、運(yùn)動(dòng)等快速甩動(dòng)手柄的場(chǎng)景下,給用戶帶來(lái)流暢且穩(wěn)定的體驗(yàn)。

　　而這些技術(shù)創(chuàng)新背后,是PICO獨(dú)立自研的高精度數(shù)據(jù)平臺(tái),以及專業(yè)的測(cè)試平臺(tái)。

　　比如為了生產(chǎn)更符合開發(fā)需求的高精度裸手姿態(tài)數(shù)據(jù),PICO一方面采用了業(yè)內(nèi)領(lǐng)先的基于相機(jī)陣列的自研多視角手部姿態(tài)標(biāo)注技術(shù),另一方面針對(duì)該特定任務(wù)進(jìn)行預(yù)重建,進(jìn)一步提升手部姿態(tài)數(shù)據(jù)的精度。這無(wú)疑為算法的訓(xùn)練,提供了強(qiáng)大的支撐和助力。

*PICO多模態(tài)同步相機(jī)系統(tǒng) 采集高精度數(shù)據(jù)

　　近期,PICO交互數(shù)據(jù)實(shí)驗(yàn)室團(tuán)隊(duì)的研究發(fā)現(xiàn),被國(guó)際頂級(jí)會(huì)議ICCV 2023成功收錄,包含了一篇Oral論文和三篇會(huì)議論文。這些涉及高效數(shù)據(jù)獲取、高精度數(shù)據(jù)標(biāo)注、數(shù)據(jù)應(yīng)用等方面的實(shí)踐研究,也代表了國(guó)際計(jì)算機(jī)視覺(jué)領(lǐng)域的最新成果。

　　*PICO交互數(shù)據(jù)實(shí)驗(yàn)室的研究成果,被國(guó)際頂級(jí)會(huì)議ICCV 2023收錄

　　作為全球領(lǐng)先的XR品牌,PICO 憑借前瞻性的技術(shù)意識(shí)和充分的技術(shù)積累,創(chuàng)新研發(fā)了多模態(tài)的融合追蹤算法,為行業(yè)AI交互提供了全新思路,也進(jìn)一步助推了手柄的輕量化,為用戶提供更符合人體工學(xué),且兼具細(xì)膩振感的交互體驗(yàn)。