本公開總體上涉及多媒體裝置和處理。更具體地，本公開涉及用于頂點(diǎn)網(wǎng)格(v-mesh)的改進(jìn)的頂點(diǎn)運(yùn)動(dòng)矢量預(yù)測(cè)因子編碼。
背景技術(shù)：
1、由于諸如智能電話的強(qiáng)大手持裝置的已有可用性，三百六十度(360°)視頻和三維(3d)體積視頻正在成為體驗(yàn)沉浸式內(nèi)容的新方式。360°視頻通過(guò)捕獲世界的360°外部-內(nèi)部視野來(lái)為消費(fèi)者實(shí)現(xiàn)沉浸式“真實(shí)生活”、“身臨其境”體驗(yàn)，而3d體積視頻可以提供沉浸在內(nèi)容中并在內(nèi)容中移動(dòng)的完整的六自由度(dof)體驗(yàn)。用戶可以交互地改變他們的視點(diǎn)并動(dòng)態(tài)地觀看他們期望的捕獲場(chǎng)景或?qū)ο蟮娜魏尾糠?。顯示和導(dǎo)航傳感器可以實(shí)時(shí)跟蹤用戶的頭部移動(dòng)，以確定用戶想要觀看或與之交互的360°視頻或體積內(nèi)容的區(qū)域?？梢栽诔两江h(huán)境中使用本質(zhì)上是3d的多媒體數(shù)據(jù)（諸如點(diǎn)云或3d多邊形網(wǎng)格）。該數(shù)據(jù)可以以視頻格式被存儲(chǔ)，并被編碼和壓縮以作為比特流傳輸?shù)狡渌b置。
技術(shù)實(shí)現(xiàn)思路
1、技術(shù)方案
2、本公開提供用于頂點(diǎn)網(wǎng)格（v-mesh）的改進(jìn)的頂點(diǎn)運(yùn)動(dòng)矢量預(yù)測(cè)因子編碼。
3、在本公開的實(shí)施例中，一種電子裝置可包括存儲(chǔ)器和耦接到所述存儲(chǔ)器的至少一個(gè)處理器。所述至少一個(gè)處理器可被配置為識(shí)別壓縮視頻比特流。所述至少一個(gè)處理器可被配置為針對(duì)壓縮視頻比特流中的頂點(diǎn)基于用信號(hào)發(fā)送的對(duì)一個(gè)或多個(gè)頂點(diǎn)鄰居的數(shù)量的限制來(lái)確定所述一個(gè)或多個(gè)頂點(diǎn)鄰居。所述至少一個(gè)處理器可以被配置為基于在壓縮視頻比特流中用信號(hào)發(fā)送的頂點(diǎn)運(yùn)動(dòng)矢量(vmv)標(biāo)識(shí)符從多個(gè)vmv預(yù)測(cè)因子中識(shí)別將用于所述頂點(diǎn)的vmv預(yù)測(cè)因子。所述至少一個(gè)處理器可以被配置為基于確定的所述一個(gè)或多個(gè)頂點(diǎn)鄰居和識(shí)別的vmv預(yù)測(cè)因子來(lái)重建網(wǎng)格幀。
4、在本公開的實(shí)施例中，一種方法可以由電子裝置執(zhí)行。所述方法可以包括識(shí)別壓縮視頻比特流。所述方法可包括針對(duì)壓縮視頻比特流中的頂點(diǎn)基于用信號(hào)發(fā)送的對(duì)一個(gè)或多個(gè)頂點(diǎn)鄰居的數(shù)量的限制來(lái)確定所述一個(gè)或多個(gè)頂點(diǎn)鄰居。所述方法可以包括基于壓縮視頻比特流中用信號(hào)發(fā)送的頂點(diǎn)運(yùn)動(dòng)矢量(vmv)標(biāo)識(shí)符從多個(gè)vmv預(yù)測(cè)因子中識(shí)別將用于所述頂點(diǎn)的vmv預(yù)測(cè)因子。所述方法可以包括基于確定的所述一個(gè)或多個(gè)頂點(diǎn)鄰居和識(shí)別的vmv預(yù)測(cè)因子來(lái)重建網(wǎng)格幀。
5、在本公開的實(shí)施例中，一種電子裝置可以包括存儲(chǔ)器和耦接到所述存儲(chǔ)器的至少一個(gè)處理器。所述至少一個(gè)處理器可被配置為針對(duì)網(wǎng)格幀的頂點(diǎn)基于對(duì)一個(gè)或多個(gè)頂點(diǎn)鄰居的數(shù)量的設(shè)定限制來(lái)識(shí)別所述一個(gè)或多個(gè)頂點(diǎn)鄰居。所述至少一個(gè)處理器可被配置為基于識(shí)別的所述一個(gè)或多個(gè)頂點(diǎn)鄰居來(lái)確定用于所述頂點(diǎn)的多個(gè)頂點(diǎn)運(yùn)動(dòng)矢量(vmv)預(yù)測(cè)因子。所述至少一個(gè)處理器可被配置為將所述多個(gè)vmv預(yù)測(cè)因子中的每一個(gè)映射到多個(gè)vmv標(biāo)識(shí)符中的一個(gè)。所述至少一個(gè)處理器可以被配置為對(duì)壓縮視頻比特流進(jìn)行編碼，所述壓縮視頻比特流用信號(hào)發(fā)送對(duì)所述一個(gè)或多個(gè)頂點(diǎn)鄰居的數(shù)量的設(shè)定限制，并用信號(hào)發(fā)送所述多個(gè)vmv標(biāo)識(shí)符中的一個(gè)vmv標(biāo)識(shí)符，所述vmv標(biāo)識(shí)符指示所述多個(gè)vmv預(yù)測(cè)因子中的將用于所述頂點(diǎn)的vmv預(yù)測(cè)因子。
6、在本公開的實(shí)施例中，一種方法可以由電子裝置執(zhí)行。所述方法可以包括針對(duì)網(wǎng)格幀的頂點(diǎn)基于對(duì)一個(gè)或多個(gè)頂點(diǎn)鄰居的數(shù)量的設(shè)定限制來(lái)識(shí)別所述一個(gè)或多個(gè)頂點(diǎn)鄰居。所述方法可以包括基于識(shí)別的所述一個(gè)或多個(gè)頂點(diǎn)鄰居來(lái)確定用于所述頂點(diǎn)的多個(gè)頂點(diǎn)運(yùn)動(dòng)矢量(vmv)預(yù)測(cè)因子。所述方法可以包括將所述多個(gè)vmv預(yù)測(cè)因子中的每一個(gè)映射到多個(gè)vmv標(biāo)識(shí)符中的一個(gè)。所述方法可以包括對(duì)壓縮視頻比特流進(jìn)行編碼，所述壓縮視頻比特流用信號(hào)發(fā)送對(duì)所述一個(gè)或多個(gè)頂點(diǎn)鄰居的數(shù)量的設(shè)定限制，并用信號(hào)發(fā)送所述多個(gè)vmv標(biāo)識(shí)符中的一個(gè)vmv標(biāo)識(shí)符，所述vmv標(biāo)識(shí)符指示所述多個(gè)vmv預(yù)測(cè)因子中的將用于所述頂點(diǎn)的vmv預(yù)測(cè)因子。
7、根據(jù)以下附圖、描述和權(quán)利要求，其他技術(shù)特征對(duì)于本領(lǐng)域技術(shù)人員而言可以是顯而易見的。
1.一種電子裝置(300)，包括：
2.根據(jù)權(quán)利要求1所述的電子裝置(300)，其中，所述至少一個(gè)處理器(340)還被配置為識(shí)別與所述頂點(diǎn)相關(guān)聯(lián)的鄰居序列中的最后一個(gè)頂點(diǎn)鄰居，以及所述鄰居序列中與所述一個(gè)或多個(gè)頂點(diǎn)鄰居的數(shù)量減一對(duì)應(yīng)的至少一個(gè)附加頂點(diǎn)鄰居。
3.根據(jù)權(quán)利要求1或2所述的電子裝置(300)，其中，確定的所述一個(gè)或多個(gè)頂點(diǎn)鄰居與幀內(nèi)網(wǎng)格幀相關(guān)聯(lián)，并且所述至少一個(gè)處理器(340)還被配置為將確定的所述一個(gè)或多個(gè)頂點(diǎn)鄰居重新用于幀間網(wǎng)格幀。
4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的電子裝置(300)，其中，所述至少一個(gè)處理器(340)還被配置為：
5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的電子裝置(300)，其中，所述至少一個(gè)處理器(340)還被配置為識(shí)別用于所述頂點(diǎn)的vmv與所述vmv預(yù)測(cè)因子的相關(guān)聯(lián)的預(yù)測(cè)值之間的差量。
6.根據(jù)權(quán)利要求5所述的電子裝置(300)，其中，所述相關(guān)聯(lián)的預(yù)測(cè)值是所述一個(gè)或多個(gè)頂點(diǎn)鄰居的組合。
7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的電子裝置(300)，其中，用信號(hào)發(fā)送的對(duì)所述一個(gè)或多個(gè)頂點(diǎn)鄰居的數(shù)量的限制被包括在所述壓縮視頻比特流的序列頭、幀頭、子網(wǎng)格頭、條帶頭、子幀頭或并行塊頭中的至少一個(gè)中。
8.一種由電子裝置(300)執(zhí)行的方法(1000)，所述方法(1000)包括：
9.一種電子裝置(300)，包括：
10.根據(jù)權(quán)利要求9所述的電子裝置(300)，其中，所述至少一個(gè)處理器(340)還被配置為識(shí)別與所述頂點(diǎn)相關(guān)聯(lián)的鄰居序列中的最后一個(gè)頂點(diǎn)鄰居，以及所述鄰居序列中與所述一個(gè)或多個(gè)頂點(diǎn)鄰居的數(shù)量減一對(duì)應(yīng)的至少一個(gè)附加頂點(diǎn)鄰居。
11.根據(jù)權(quán)利要求9或10所述的電子裝置(300)，其中，識(shí)別的所述一個(gè)或多個(gè)頂點(diǎn)鄰居與幀內(nèi)網(wǎng)格幀相關(guān)聯(lián)，并且所述至少一個(gè)處理器(340)還被配置為將識(shí)別的所述一個(gè)或多個(gè)頂點(diǎn)鄰居重新用于幀間網(wǎng)格幀。
12.根據(jù)權(quán)利要求9至11中任一項(xiàng)所述的電子裝置(300)，其中，所述至少一個(gè)處理器(340)還被配置為：
13.根據(jù)權(quán)利要求9至12中任一項(xiàng)所述的電子裝置(300)，其中，所述至少一個(gè)處理器(340)還被配置為發(fā)起用于所述頂點(diǎn)的vmv與所述vmv預(yù)測(cè)因子的相關(guān)聯(lián)的預(yù)測(cè)值之間的差量的傳輸，并且其中，所述相關(guān)聯(lián)的預(yù)測(cè)值是所述一個(gè)或多個(gè)頂點(diǎn)鄰居的組合。
14.根據(jù)權(quán)利要求9至13中任一項(xiàng)所述的電子裝置(300)，其中，所述至少一個(gè)處理器(340)還被配置為在所述壓縮視頻比特流的序列頭、幀頭、子網(wǎng)格頭、切片頭、子幀頭或并行塊頭中的至少一個(gè)中對(duì)所述一個(gè)或多個(gè)頂點(diǎn)鄰居的數(shù)量的設(shè)定限制進(jìn)行編碼。
15.一種由電子裝置(300)執(zhí)行的方法(900)，所述方法(900)包括：