蘋(píng)果 VR/AR 新專(zhuān)利：用神經(jīng)網(wǎng)絡(luò)模擬全身動(dòng)作，讓 VR 無(wú)線傳輸更快

近日，蘋(píng)果的兩項(xiàng) VR/AR 相關(guān)新專(zhuān)利得到了美國(guó)專(zhuān)利商標(biāo)局（U.S. Patent and Trademark Office）授權(quán)。

第一項(xiàng)專(zhuān)利是“生成身體姿勢(shì)信息（Generating body pose information）系統(tǒng)”。該系統(tǒng)通過(guò)收集身體各個(gè)地方的信息，然后利用這些信息打造用戶(hù)的虛擬化身（avatar）。第二項(xiàng)專(zhuān)利是“自適應(yīng)無(wú)線傳輸（Adaptive wireless transmission schemes）系統(tǒng)”。該系統(tǒng)處理 VR 頭顯設(shè)備和主機(jī)之間的通信。

據(jù)悉，蘋(píng)果正在開(kāi)發(fā) AR/VR 頭顯，以及稱(chēng)為“Apple Glass”的 AR 智能眼鏡。蘋(píng)果正在針對(duì)人機(jī)交互領(lǐng)域的難題設(shè)計(jì)不同的解決方案，希望蘋(píng)果頭顯產(chǎn)品可以在其他頭顯產(chǎn)品中脫穎而出。

01. 新系統(tǒng)通過(guò)搜集姿態(tài)信息，在虛擬世界打造一個(gè)“你”

根據(jù)專(zhuān)利報(bào)告顯示，蘋(píng)果新專(zhuān)利“生成身體姿勢(shì)信息”系統(tǒng)可以通過(guò)攝像頭、神經(jīng)網(wǎng)絡(luò)系統(tǒng)等方式搜集用戶(hù)的姿態(tài)信息，形成一個(gè)用戶(hù)的虛擬化身 。

1、用神經(jīng)網(wǎng)絡(luò)系統(tǒng)搜集用戶(hù)姿態(tài)信息

單個(gè)神經(jīng)網(wǎng)絡(luò)系統(tǒng)可以搜集用戶(hù)姿勢(shì)信息；多個(gè)神經(jīng)網(wǎng)絡(luò)系統(tǒng)協(xié)同工作，可以模擬用戶(hù)的某個(gè)關(guān)節(jié)；最終，所有系統(tǒng)的信息全部匯總在一起便可以在虛擬世界打造一個(gè)用戶(hù)的“分身”。

在這個(gè)過(guò)程中，不同的硬件設(shè)備都需要機(jī)器學(xué)習(xí)。因?yàn)椤吧缮眢w姿勢(shì)信息”系統(tǒng)不僅要處理攝像機(jī)所搜集的數(shù)據(jù)，還需要讓不同的神經(jīng)網(wǎng)絡(luò)系統(tǒng)之間“學(xué)會(huì)”信息交互。

2、神經(jīng)網(wǎng)絡(luò)系統(tǒng)覆蓋身體全關(guān)節(jié)

神經(jīng)網(wǎng)絡(luò)系統(tǒng)會(huì)搜集用戶(hù)身體上哪些部位的信息，蘋(píng)果在專(zhuān)利報(bào)告中給出了答案。

▲ 多個(gè)神經(jīng)網(wǎng)絡(luò)系統(tǒng)可以監(jiān)控用戶(hù)的各個(gè)關(guān)節(jié)，共同創(chuàng)建一個(gè)全身模型。（來(lái)源于：Appleinsider）

“生成身體姿勢(shì)信息”系統(tǒng)的信息搜集范圍包括了“脖頸、肩關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)、骨盆關(guān)節(jié)、膝關(guān)節(jié)、踝關(guān)節(jié)和指關(guān)節(jié)”。該系統(tǒng)不但會(huì)對(duì)每個(gè)部位的信息搜集范圍做出界定，而且還會(huì)確定各部位之間的連接處在哪里。

盡管該項(xiàng)專(zhuān)利的列表里給出了所有創(chuàng)建用戶(hù)身體模型需要的基本要素，但似乎并不是很詳盡。比如說(shuō)，指關(guān)節(jié)似乎只是重點(diǎn)指代手指，腳趾以及腳部運(yùn)動(dòng)似乎并沒(méi)有被該系統(tǒng)所關(guān)注。

3、用數(shù)據(jù)打造用戶(hù)虛擬化身

蘋(píng)果認(rèn)為，打造良好的沉浸式體驗(yàn)需要盡可能地搜集更多有關(guān)用戶(hù)姿態(tài)的信息。因?yàn)?VR 或 AR 應(yīng)用程序可能會(huì)需要依據(jù)用戶(hù)的靜態(tài)姿勢(shì)或動(dòng)態(tài)行為，為用戶(hù)呈現(xiàn)不同的內(nèi)容。比如說(shuō)，VR 游戲中的守衛(wèi)需要對(duì)用戶(hù)不同的攻擊動(dòng)作做出不同的反應(yīng)。

事實(shí)上，蘋(píng)果希望用“生成身體姿勢(shì)信息”系統(tǒng)控制用戶(hù)在虛擬世界的化身。比如說(shuō)，虛擬在線社交 VR Chat 就可能會(huì)運(yùn)用到這個(gè)系統(tǒng)來(lái)改變用戶(hù)的頭像呈現(xiàn)方式。

02. 打通通訊壁壘，新專(zhuān)利使用凝視功能分配數(shù)據(jù)資源

蘋(píng)果的第二項(xiàng)專(zhuān)利“自適應(yīng)無(wú)線傳輸”系統(tǒng)希望能打通頭顯和主機(jī)之間通訊壁壘。

1、VR 頭顯遇通訊難題

目前市面上的 VR 頭顯如 Oculus Quest，盡管設(shè)計(jì)者可以通過(guò)增加頭顯的重量，讓頭顯和主機(jī)之間的連接部位減少相應(yīng)重量，但是，連接部位的電線本身就是一個(gè)問(wèn)題。

對(duì)此，有人提出用無(wú)線通信系統(tǒng)減輕頭顯的重量，并且取消電線。但事實(shí)上，無(wú)線通信系統(tǒng)也會(huì)存在很多問(wèn)題。

比如說(shuō)，無(wú)線通信系統(tǒng)傳輸數(shù)據(jù)需要消耗設(shè)備電量，并且無(wú)線通訊系統(tǒng)的帶寬比有線通訊更少。再比如，無(wú)線通訊系統(tǒng)里最常見(jiàn)的斷連、其他設(shè)備干擾的問(wèn)題。

2、新專(zhuān)利采用交錯(cuò)幀傳輸

面對(duì)這些難題，蘋(píng)果新專(zhuān)利“自適應(yīng)無(wú)線傳輸”系統(tǒng)提供了一種新的解決方案。

它雖然采用了無(wú)線通信系統(tǒng)，但是減少了一次傳輸?shù)臄?shù)據(jù)量。該方案要求系統(tǒng)傳輸盡可能少的視頻數(shù)據(jù)。并且，這項(xiàng)專(zhuān)利選擇將網(wǎng)絡(luò)的帶寬量減半，通過(guò)左右眼數(shù)據(jù)交錯(cuò)使用，實(shí)現(xiàn)交錯(cuò)幀數(shù)據(jù)傳輸（interleaved frame transmissions）。

蘋(píng)果的新專(zhuān)利認(rèn)為，數(shù)據(jù)不必傳輸畫(huà)面的每一幀。它將畫(huà)面的傳輸幀分成不同類(lèi)，一類(lèi)是需要緊急更新的畫(huà)面幀，另一類(lèi)是可以再次使用、沒(méi)有更新、較早時(shí)間的畫(huà)面幀。

▲ 每只眼睛的交替視頻幀可以將一次傳輸?shù)臄?shù)據(jù)量減半。（來(lái)源于：Appleinsider）

3、凝視跟蹤功能加持?jǐn)?shù)據(jù)節(jié)流

此外，該項(xiàng)專(zhuān)利還用到了凝視跟蹤功能（mention of gaze tracking）。該功能可以通過(guò)用戶(hù)的凝視，優(yōu)先更新用戶(hù)正在查看畫(huà)面的數(shù)據(jù)。不僅如此，它還通過(guò)注視點(diǎn)顯示技術(shù)（foveated display techniques）減少用戶(hù)未關(guān)注的畫(huà)面細(xì)節(jié)量，再次節(jié)省數(shù)據(jù)傳輸。

但實(shí)現(xiàn)這一方案可能需要極高的幀速率（frame rates）。據(jù)蘋(píng)果專(zhuān)利報(bào)告顯示，由于頭顯在眼睛部位，所以“每秒至少達(dá)到 100 幀”。

03. 技術(shù)會(huì)不斷迭代，但并不會(huì)全應(yīng)用于蘋(píng)果產(chǎn)品

此前，蘋(píng)果在 VR 和 AR 領(lǐng)域具有很多專(zhuān)利申請(qǐng)，并且與這次兩項(xiàng)新專(zhuān)利有一些技術(shù)交叉。

比如說(shuō)在中央凹區(qū)域的顯示技術(shù)（ foveated displays）方面，中心凹是眼睛的一個(gè)關(guān)鍵區(qū)域，它使人們能夠以非常清晰和精確的方式看到東西。2020 年，蘋(píng)果又設(shè)計(jì)了與此次類(lèi)似的一個(gè)系統(tǒng)，該系統(tǒng)可以通過(guò)眼動(dòng)追蹤（ eye tracking）來(lái)決定將數(shù)據(jù)資源投放在屏幕哪些地方，并且可以通過(guò)凝視檢測(cè)功能（using gaze detection）來(lái)確保畫(huà)面是否完成更新。

再比如說(shuō)，手勢(shì)識(shí)別功能。2018 年，蘋(píng)果的一項(xiàng)專(zhuān)利曾涉及如何利用頭顯下方的攝像頭來(lái)監(jiān)控用戶(hù)的手勢(shì)變化，以便系統(tǒng)通過(guò)手勢(shì)變化管理 3D 文檔。2015 年，蘋(píng)果的一項(xiàng)專(zhuān)利可以通過(guò)機(jī)器視覺(jué)，遠(yuǎn)距離識(shí)別人們的手勢(shì)。

蘋(píng)果每周都會(huì)提交大量的專(zhuān)利申請(qǐng)，但新專(zhuān)利的存在僅代表蘋(píng)果的研發(fā)團(tuán)隊(duì)對(duì)該領(lǐng)域感興趣，并不能保證這些專(zhuān)利會(huì)出現(xiàn)在蘋(píng)果的產(chǎn)品中。

04. 結(jié)語(yǔ)：蘋(píng)果下場(chǎng)會(huì)帶火 VR/AR 設(shè)備嗎？

蘋(píng)果兩項(xiàng)在 VR/AR 領(lǐng)域的新專(zhuān)利向我們揭示了一個(gè)事實(shí)，蘋(píng)果已經(jīng)擁有較為成熟的、針對(duì)人機(jī)交互領(lǐng)域的難題的解決方案。

根據(jù)天風(fēng)證券分析師郭明錤報(bào)告，蘋(píng)果可能將在 2022 年中期推出 VR/AR 頭顯設(shè)備。他認(rèn)為，蘋(píng)果頭顯能否成功要看 VR/AR 應(yīng)用能否提供非常順暢的顯示與操作流程。

據(jù) IDC 稱(chēng)，到 2022 年，VR/AR 的市場(chǎng)價(jià)值約為 560 億美元。當(dāng)蘋(píng)果入場(chǎng)頭顯設(shè)備時(shí)，是否能通過(guò)新的技術(shù)加速 VR/AR 設(shè)備落地，我們靜觀其變。