本公開涉及虛擬現(xiàn)實和增強現(xiàn)實(vr/ar)頭戴式設(shè)備(headset)，該頭戴式設(shè)備配置有多個面部傳感器以在沉浸式現(xiàn)實應(yīng)用中實現(xiàn)社交臨場感(socialpresence)。更具體地，本公開與vr/ar頭戴式設(shè)備中的嵌入式傳感器相關(guān)聯(lián)，以提供信息并實時地將用戶的面部表情結(jié)合到用于沉浸式現(xiàn)實應(yīng)用的對象化身。
背景技術(shù)：
1、當前的vr/ar頭戴式設(shè)備結(jié)合了眼動追蹤系統(tǒng)和內(nèi)視攝像頭(inward-lookingcamera)(例如，紅外攝像頭等)和超聲掃描儀，以收集關(guān)于用戶面部表情的實時信息。此類信息與基于頭戴式設(shè)備用戶生成在沉浸式現(xiàn)實環(huán)境中具有真實社交臨場感的對象化身相關(guān)。然而，眼動追蹤系統(tǒng)、攝像頭和掃描儀往往是過于復(fù)雜的設(shè)備，笨重且沉重，涉及繁重的數(shù)據(jù)協(xié)議和操作，并且消耗大量電力。
技術(shù)實現(xiàn)思路
1、根據(jù)本公開的第一方面，提供了一種計算機實現(xiàn)的方法，該計算機實現(xiàn)的方法包括：接收來自頭戴式設(shè)備的面部接口上的傳感器的、指示該頭戴式設(shè)備的用戶的面部肌肉的運動的信號；基于機器學習算法，用來自頭戴式設(shè)備的面部接口中的傳感器的信號確定用戶的面部表情，該機器學習算法被訓練為將面部表情與面部肌肉的運動相關(guān)聯(lián)；基于面部表情調(diào)整頭戴式設(shè)備的用戶的對象化身；以及向由遠程服務(wù)器托管的沉浸式現(xiàn)實應(yīng)用提供對象化身。
2、在一些實施例中，接收來自傳感器的信號包括接收來自以下中的一者的信號：慣性運動單元、電子傳感器、電容傳感器、接觸式傳聲器、光學傳感器、觸覺傳感器、濕度傳感器和溫度傳感器。
3、在一些實施例中，該信號是來自面部肌肉的神經(jīng)激活的電信號，該方法還包括通過在面部接口上的傳感器的位置來識別面部肌肉。
4、在一些實施例中，接收來自傳感器的信號包括接收來自設(shè)置在頭戴式設(shè)備的面部接口上的多個傳感器的多個信號，該方法還包括：使多個信號相互關(guān)聯(lián)，以評估頭戴式設(shè)備的用戶的一個或多個面部肌肉是否移動以及移動到何種程度。
5、在一些實施例中，調(diào)整用戶的對象化身包括：基于面部表情塑造頭戴式設(shè)備的用戶的面部的三維實體模型。
6、在一些實施例中，面部肌肉是移動頭戴式設(shè)備的用戶的眼睛瞳孔的肌肉，并且確定用戶的面部表情包括確定頭戴式設(shè)備的用戶的注視方向。
7、在一些實施例中，該方法還包括：基于用戶的面部表情來確定用戶身體狀況。
8、在一些實施例中，該方法還包括：基于用戶的面部表情和沉浸式現(xiàn)實應(yīng)用中的環(huán)境來確定用戶心理狀況。
9、在一些實施例中，該方法還包括：在頭戴式設(shè)備中基于面部表情向用戶顯示反饋消息。
10、在一些實施例中，該方法還包括：基于沉浸式現(xiàn)實應(yīng)用中的觀眾修改用戶的面部表情。
11、根據(jù)本公開的第二方面，提供了一種頭戴式設(shè)備，該頭戴式設(shè)備包括：面部接口，該面部接口包括一個或多個傳感器，并且配置為接觸頭戴式設(shè)備用戶的面部的、在面部中的兩個眼睛和鼻部周圍的皮膚，其中一個或多個傳感器幾何地設(shè)置在面部接口上，以識別頭戴式設(shè)備用戶的面部肌肉的運動；存儲器，該存儲器存儲有指令和圖表，該圖表包括頭戴式設(shè)備用戶的面部表情到面部肌肉的運動的映射；處理器，該處理器配置為至少部分地接收來自一個或多個傳感器的多個信號，并基于該多個信號和圖表識別頭戴式設(shè)備用戶的面部姿態(tài)；通信模塊，該通信模塊配置為向遠程服務(wù)器發(fā)送該多個信號和面部姿態(tài)，該遠程服務(wù)器托管包括頭戴式設(shè)備用戶的化身的沉浸式現(xiàn)實應(yīng)用。
12、在一些實施例中，一個或多個傳感器包括以下中的至少一者：慣性運動傳感器、電子傳感器、電容傳感器、接觸式傳聲器、光學傳感器、觸覺傳感器、濕度傳感器和溫度傳感器。
13、在一些實施例中，一個或多個傳感器包括光電容積脈搏波描記傳感器(photoplethysmography?sensor)，該光電容積脈搏波描記傳感器用于確定跨頭戴式設(shè)備用戶的鼻部的心血管活動。
14、在一些實施例中，一個或多個傳感器包括多個電子傳感器，該多個電子傳感器對稱地設(shè)置在頭戴式設(shè)備用戶的兩只眼睛周圍，并且配置為評估頭戴式設(shè)備用戶的注視方向。
15、在一些實施例中，面部接口的包括一個或多個傳感器的一部分是能夠從頭戴式設(shè)備拆卸的。
16、根據(jù)本公開的第三方面，提供了一種計算機實現(xiàn)的方法，該計算機實現(xiàn)的方法包括：從遠程服務(wù)器向沉浸式現(xiàn)實應(yīng)用中的多個參與者使用的一個或多個頭戴式設(shè)備提供第一參與者的對象化身；接收來自第一參與者的第一頭戴式設(shè)備的、指示第一參與者的面部肌肉的運動的信號；基于該信號確定第一參與者的面部姿態(tài)；以及用該面部姿態(tài)更新第一參與者的對象化身。
17、在一些實施例中，接收指示第一參與者的面部肌肉的運動的信號包括接收來自以下中的至少一者的信號：慣性運動傳感器、接觸式傳聲器、電子傳感器、電容傳感器、光學傳感器、觸覺傳感器、濕度傳感器和溫度傳感器。
18、在一些實施例中，接收指示面部肌肉的運動的信號包括：整合來自第一頭戴式設(shè)備的面部接口中的一個或多個傳感器的多個信號。
19、在一些實施例中，該方法還包括：接收來自第二參與者的頭戴式設(shè)備的、指示第二參與者的面部肌肉的運動的信號；基于該信號確定第一參與者的面部姿態(tài)；以及用該面部姿態(tài)更新第二參與者的對象化身。
20、在一些實施例中，確定第一參與者的面部姿態(tài)包括：與將面部肌肉的運動與面部姿態(tài)相關(guān)聯(lián)的圖表進行協(xié)商(confer)。
21、在其它實施例中，一種非暫態(tài)計算機可讀介質(zhì)存儲有多個指令，這些指令在被處理器執(zhí)行時使計算機執(zhí)行方法。該方法包括：接收來自頭戴式設(shè)備的面部接口上的傳感器的、指示頭戴式設(shè)備的用戶的面部肌肉的運動的信號；基于機器學習算法，用來自頭戴式設(shè)備的面部接口中的傳感器的信號確定用戶的面部表情，該機器學習算法被訓練為將面部表情與面部肌肉的運動相關(guān)聯(lián)；基于面部表情調(diào)整頭戴式設(shè)備的用戶的對象化身；以及向由遠程服務(wù)器托管的沉浸式現(xiàn)實應(yīng)用提供對象化身。
22、在又一實施例中，一種系統(tǒng)包括：用于存儲指令的第一裝置、和用于執(zhí)行指令并使系統(tǒng)執(zhí)行一種方法的第二裝置。該方法包括：接收來自頭戴式設(shè)備的面部接口上的傳感器的、指示頭戴式設(shè)備的用戶的面部肌肉的運動的信號；基于機器學習算法，用來自頭戴式設(shè)備的面部接口中的傳感器的信號確定用戶的面部表情，該機器學習算法被訓練為將面部表情與面部肌肉的運動相關(guān)聯(lián)；基于面部表情調(diào)整頭戴式設(shè)備的用戶的對象化身；以及向由遠程服務(wù)器托管的沉浸式現(xiàn)實應(yīng)用提供對象化身。
23、考慮到以下公開內(nèi)容，這些和其他實施例對于本領(lǐng)域普通技術(shù)人員來說是清楚的。
1.一種計算機實現(xiàn)的方法，包括：
2.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)的方法，其中，接收來自傳感器的信號包括接收來自以下中的一者的信號：慣性運動單元、電子傳感器、電容傳感器、接觸式傳聲器、光學傳感器、觸覺傳感器、濕度傳感器和溫度傳感器。
3.根據(jù)權(quán)利要求1或權(quán)利要求2所述的計算機實現(xiàn)的方法，其中，所述信號是來自所述面部肌肉的神經(jīng)激活的電信號，所述計算機實現(xiàn)的方法還包括通過所述面部接口上的所述傳感器的位置來識別所述面部肌肉。
4.根據(jù)任一項前述權(quán)利要求所述的計算機實現(xiàn)的方法，其中，接收來自傳感器的信號包括接收來自設(shè)置在所述頭戴式設(shè)備的所述面部接口上的多個傳感器的多個信號，所述計算機實現(xiàn)的方法還包括：使所述多個信號相互關(guān)聯(lián)，以評估所述頭戴式設(shè)備的所述用戶的一個或多個面部肌肉是否移動以及移動到何種程度。
5.根據(jù)任一項前述權(quán)利要求所述的計算機實現(xiàn)的方法，其中，調(diào)整所述用戶的所述對象化身包括：基于所述面部表情塑造所述頭戴式設(shè)備的所述用戶的面部的三維實體模型。
6.根據(jù)任一項前述權(quán)利要求所述的計算機實現(xiàn)的方法，其中，所述面部肌肉是移動所述頭戴式設(shè)備的所述用戶的眼睛瞳孔的肌肉，并且確定所述用戶的所述面部表情包括確定所述頭戴式設(shè)備的所述用戶的注視方向。
7.根據(jù)任一項前述權(quán)利要求所述的計算機實現(xiàn)的方法，還包括基于所述用戶的所述面部表情來確定用戶身體狀況。
8.根據(jù)權(quán)利要求1至6中任一項所述的計算機實現(xiàn)的方法，還包括基于所述用戶的所述面部表情和所述沉浸式現(xiàn)實應(yīng)用中的環(huán)境來確定用戶心理狀況。
9.根據(jù)任一項前述權(quán)利要求所述的計算機實現(xiàn)的方法，還包括在所述頭戴式設(shè)備中基于所述面部表情向所述用戶顯示反饋消息；和/或優(yōu)選地，所述計算機實現(xiàn)的方法還包括基于所述沉浸式現(xiàn)實應(yīng)用中的觀眾來修改所述用戶的所述面部表情。
10.一種頭戴式設(shè)備，包括：
11.根據(jù)權(quán)利要求10所述的頭戴式設(shè)備，其中，所述一個或多個傳感器包括以下中的至少一者：慣性運動傳感器、電子傳感器、電容傳感器、接觸式傳聲器、光學傳感器、觸覺傳感器、濕度傳感器和溫度傳感器；和/或優(yōu)選地，其中，所述一個或多個傳感器包括光電容積脈搏波描記傳感器，所述光電容積脈搏波描記傳感器用于確定跨所述頭戴式設(shè)備用戶的鼻部的心血管活動。
12.根據(jù)權(quán)利要求10或權(quán)利要求11所述的頭戴式設(shè)備，其中，所述一個或多個傳感器包括多個電子傳感器，所述多個電子傳感器對稱地設(shè)置在所述頭戴式設(shè)備用戶的兩只眼睛周圍，并且配置為評估所述頭戴式設(shè)備用戶的注視方向；和/或優(yōu)選地，其中，所述面部接口的包括所述一個或多個傳感器的一部分是能夠從所述頭戴式設(shè)備拆卸的。
13.一種計算機實現(xiàn)的方法，包括：
14.根據(jù)權(quán)利要求13所述的計算機實現(xiàn)的方法，其中，接收指示所述第一參與者的面部肌肉的運動的信號包括接收來自以下中的至少一者的信號：慣性運動傳感器、接觸式傳聲器、電子傳感器、電容傳感器、光學傳感器、觸覺傳感器、濕度傳感器和溫度傳感器；和/或優(yōu)選地，其中接收指示面部肌肉的運動的所述信號包括：整合來自所述第一頭戴式設(shè)備的面部接口中的一個或多個傳感器的多個信號；和/或優(yōu)選地，所述計算機實現(xiàn)的方法還包括：接收來自第二參與者的頭戴式設(shè)備的指示所述第二參與者的面部肌肉的運動的信號；基于所述信號確定所述第一參與者的面部姿態(tài)；以及用所述面部姿態(tài)更新所述第二參與者的對象化身。
15.根據(jù)權(quán)利要求13或權(quán)利要求14所述的計算機實現(xiàn)的方法，其中，確定所述第一參與者的面部姿態(tài)包括與將所述面部肌肉的運動與所述面部姿態(tài)相關(guān)聯(lián)的圖表進行協(xié)商。