實(shí)施方式提供了一種用于提供3d內(nèi)容以向用戶提供諸如虛擬現(xiàn)實(shí)(vr)、增強(qiáng)現(xiàn)實(shí)(ar)、混合現(xiàn)實(shí)(mr)和自駕駛服務(wù)的各種服務(wù)的方法。
背景技術(shù)：
1、3d內(nèi)容中的點(diǎn)云數(shù)據(jù)或網(wǎng)格數(shù)據(jù)是3d空間中的點(diǎn)集合。然而，由于3d空間中的大量點(diǎn)，難以創(chuàng)建點(diǎn)云數(shù)據(jù)或網(wǎng)格數(shù)據(jù)。
2、換言之，需要大吞吐量來(lái)發(fā)送和接收具有數(shù)量可觀的點(diǎn)的3d數(shù)據(jù)(例如，點(diǎn)云或網(wǎng)格數(shù)據(jù))。
技術(shù)實(shí)現(xiàn)思路
1、技術(shù)問(wèn)題
2、本公開(kāi)的目的是提供一種用于高效地發(fā)送和接收網(wǎng)格數(shù)據(jù)以解決上述問(wèn)題的設(shè)備和方法。
3、本公開(kāi)的另一目的是提供一種解決網(wǎng)格數(shù)據(jù)的延遲和編碼/解碼復(fù)雜度的設(shè)備和方法。
4、實(shí)施方式不限于上述目的，實(shí)施方式的范圍可擴(kuò)展至本領(lǐng)域技術(shù)人員基于本公開(kāi)的整個(gè)內(nèi)容可推斷出的其它目的。
5、技術(shù)方案
6、為了實(shí)現(xiàn)這些目的和其它優(yōu)點(diǎn)并且根據(jù)本發(fā)明的目的，如本文具體實(shí)現(xiàn)并廣義描述的，一種發(fā)送三維(3d)數(shù)據(jù)的方法可包括以下步驟：預(yù)處理輸入網(wǎng)格數(shù)據(jù)并輸出基礎(chǔ)網(wǎng)格數(shù)據(jù)；對(duì)基礎(chǔ)網(wǎng)格數(shù)據(jù)進(jìn)行編碼；以及發(fā)送包括編碼網(wǎng)格數(shù)據(jù)和信令信息的比特流。
7、根據(jù)實(shí)施方式，基礎(chǔ)網(wǎng)格數(shù)據(jù)的編碼可包括：將參考基礎(chǔ)網(wǎng)格數(shù)據(jù)分割成子組；針對(duì)各個(gè)子組獲取基礎(chǔ)網(wǎng)格數(shù)據(jù)和參考基礎(chǔ)網(wǎng)格數(shù)據(jù)之間的運(yùn)動(dòng)向量；以及對(duì)所獲取的運(yùn)動(dòng)向量進(jìn)行編碼。
8、根據(jù)實(shí)施方式，運(yùn)動(dòng)向量是對(duì)應(yīng)一個(gè)子組中的頂點(diǎn)的運(yùn)動(dòng)向量的平均。
9、根據(jù)實(shí)施方式，信令信息可包括與子組分割有關(guān)的信息。
10、根據(jù)實(shí)施方式，信令信息還可包括用于指示是否跳過(guò)運(yùn)動(dòng)向量的運(yùn)動(dòng)向量相關(guān)信息。
11、根據(jù)實(shí)施方式，該方法還可包括基于運(yùn)動(dòng)向量相關(guān)信息發(fā)送運(yùn)動(dòng)向量或跳過(guò)運(yùn)動(dòng)向量的傳輸。
12、根據(jù)實(shí)施方式，基于運(yùn)動(dòng)向量的傳輸被跳過(guò)，可在接收側(cè)針對(duì)運(yùn)動(dòng)向量推導(dǎo)零向量。
13、根據(jù)實(shí)施方式，一種用于發(fā)送3d數(shù)據(jù)的裝置可包括：預(yù)處理器，其被配置為預(yù)處理輸入網(wǎng)格數(shù)據(jù)并且輸出基礎(chǔ)網(wǎng)格數(shù)據(jù)；編碼器，其被配置為對(duì)基礎(chǔ)網(wǎng)格數(shù)據(jù)進(jìn)行編碼；以及發(fā)送器，其被配置為發(fā)送包括編碼網(wǎng)格數(shù)據(jù)和信令信息的比特流。
14、根據(jù)實(shí)施方式，編碼器可包括：子組分割器，其被配置為將參考基礎(chǔ)網(wǎng)格數(shù)據(jù)分割成子組；運(yùn)動(dòng)向量計(jì)算器，其被配置為針對(duì)各個(gè)子組獲取基礎(chǔ)網(wǎng)格數(shù)據(jù)和參考基礎(chǔ)網(wǎng)格數(shù)據(jù)之間的運(yùn)動(dòng)向量；以及編碼器，其被配置為對(duì)所獲取的運(yùn)動(dòng)向量進(jìn)行熵編碼。
15、根據(jù)實(shí)施方式，運(yùn)動(dòng)向量是對(duì)應(yīng)一個(gè)子組中的頂點(diǎn)的運(yùn)動(dòng)向量的平均。
16、根據(jù)實(shí)施方式，信令信息可包括與子組分割有關(guān)的信息。
17、根據(jù)實(shí)施方式，信令信息還可包括用于指示是否跳過(guò)運(yùn)動(dòng)向量的運(yùn)動(dòng)向量相關(guān)信息。
18、根據(jù)實(shí)施方式，基于運(yùn)動(dòng)向量相關(guān)信息，可發(fā)送運(yùn)動(dòng)向量，或者可跳過(guò)運(yùn)動(dòng)向量的傳輸。
19、根據(jù)實(shí)施方式，基于運(yùn)動(dòng)向量的傳輸被跳過(guò)，可在接收側(cè)針對(duì)運(yùn)動(dòng)向量推導(dǎo)零向量。
20、根據(jù)實(shí)施方式，一種接收3d數(shù)據(jù)的方法可包括以下步驟：接收包含編碼網(wǎng)格數(shù)據(jù)和信令信息的比特流；基于各個(gè)子組的運(yùn)動(dòng)向量對(duì)網(wǎng)格數(shù)據(jù)進(jìn)行解碼；以及渲染解碼的網(wǎng)格數(shù)據(jù)。
21、有益效果
22、根據(jù)實(shí)施方式，3d數(shù)據(jù)發(fā)送方法、3d數(shù)據(jù)發(fā)送裝置、3d數(shù)據(jù)接收方法和3d數(shù)據(jù)接收裝置可提供高質(zhì)量3d服務(wù)。
23、根據(jù)實(shí)施方式，3d數(shù)據(jù)發(fā)送方法、3d數(shù)據(jù)發(fā)送裝置、3d數(shù)據(jù)接收方法和3d數(shù)據(jù)接收裝置可實(shí)現(xiàn)各種視頻編碼解碼方案。
24、根據(jù)實(shí)施方式，3d數(shù)據(jù)發(fā)送方法、3d數(shù)據(jù)發(fā)送裝置、3d數(shù)據(jù)接收方法和3d數(shù)據(jù)接收裝置可支持通用3d內(nèi)容，例如用于自主駕駛服務(wù)。
25、根據(jù)實(shí)施方式，當(dāng)通過(guò)幀間預(yù)測(cè)對(duì)與3d動(dòng)態(tài)網(wǎng)格數(shù)據(jù)有關(guān)的幾何信息進(jìn)行編碼/解碼時(shí)，3d數(shù)據(jù)發(fā)送方法、3d數(shù)據(jù)發(fā)送裝置、3d數(shù)據(jù)接收方法和3d數(shù)據(jù)接收裝置可將參考基礎(chǔ)網(wǎng)格分割成子組，并且基于每子組計(jì)算運(yùn)動(dòng)向量，使得可基于每子組發(fā)送(差)運(yùn)動(dòng)向量。由此，要發(fā)送的數(shù)據(jù)量可減少，并且?guī)缀涡畔⒌膲嚎s效率可增加。
1.一種發(fā)送3d數(shù)據(jù)的方法，該方法包括以下步驟：
2.根據(jù)權(quán)利要求1所述的方法，其中，所述基礎(chǔ)網(wǎng)格數(shù)據(jù)的編碼包括以下步驟：
3.根據(jù)權(quán)利要求2所述的方法，其中，所述運(yùn)動(dòng)向量是所述子組中的對(duì)應(yīng)一個(gè)子組中的頂點(diǎn)的運(yùn)動(dòng)向量的平均。
4.根據(jù)權(quán)利要求2所述的方法，其中，所述信令信息包括與子組分割有關(guān)的信息。
5.根據(jù)權(quán)利要求2所述的方法，其中，所述信令信息還包括用于指示是否跳過(guò)所述運(yùn)動(dòng)向量的運(yùn)動(dòng)向量相關(guān)信息。
6.根據(jù)權(quán)利要求5所述的方法，該方法還包括以下步驟：基于所述運(yùn)動(dòng)向量相關(guān)信息發(fā)送所述運(yùn)動(dòng)向量或跳過(guò)所述運(yùn)動(dòng)向量的傳輸。
7.根據(jù)權(quán)利要求6所述的方法，其中，基于跳過(guò)所述運(yùn)動(dòng)向量的傳輸，在接收側(cè)針對(duì)所述運(yùn)動(dòng)向量推導(dǎo)零向量。
8.一種用于發(fā)送3d數(shù)據(jù)的裝置，該裝置包括：
9.根據(jù)權(quán)利要求8所述的裝置，其中，所述編碼器包括：
10.根據(jù)權(quán)利要求9所述的裝置，其中，所述運(yùn)動(dòng)向量是所述子組中的對(duì)應(yīng)一個(gè)子組中的頂點(diǎn)的運(yùn)動(dòng)向量的平均。
11.根據(jù)權(quán)利要求9所述的裝置，其中，所述信令信息包括與子組分割有關(guān)的信息。
12.根據(jù)權(quán)利要求11所述的裝置，其中，所述信令信息還包括用于指示是否跳過(guò)所述運(yùn)動(dòng)向量的運(yùn)動(dòng)向量相關(guān)信息。
13.根據(jù)權(quán)利要求11所述的裝置，其中，基于所述運(yùn)動(dòng)向量相關(guān)信息發(fā)送所述運(yùn)動(dòng)向量或跳過(guò)所述運(yùn)動(dòng)向量的傳輸。
14.根據(jù)權(quán)利要求13所述的裝置，其中，基于跳過(guò)所述運(yùn)動(dòng)向量的傳輸，在接收側(cè)針對(duì)所述運(yùn)動(dòng)向量推導(dǎo)零向量。
15.一種接收3d數(shù)據(jù)的方法，該方法包括以下步驟：