背景技術(shù):
1、點云(pc)數(shù)據(jù)格式是跨若干商業(yè)領(lǐng)域的通用數(shù)據(jù)格式,所述商業(yè)領(lǐng)域例如自主駕駛、機器人技術(shù)、增強現(xiàn)實/虛擬現(xiàn)實(ar/vr)、土木工程、計算機圖形學(xué)和動畫/電影工業(yè)。3d?lidar(光檢測和測距)傳感器已經(jīng)部署在自駕汽車中,并且可以獲得負(fù)擔(dān)得起的lidar傳感器。隨著感測技術(shù)的進步,3d點云數(shù)據(jù)變得比以往更實用。
技術(shù)實現(xiàn)思路
1、本文描述的實施例包括在視頻編碼和解碼(統(tǒng)稱為“譯碼”)中使用的方法。
2、根據(jù)一些實施例的第一示例方法/裝置可以包括:使用初始上采樣對第一點云進行上采樣以獲得第二點云;將所述第二點云的特征與上下文信息相關(guān)聯(lián)以獲得第三點云;預(yù)測所述第三點云的至少一個體素的占用狀態(tài);以及根據(jù)所預(yù)測的占用狀態(tài)移除第三點云中被分類為空的體素,以生成修剪后的點云(pruned?point?cloud)。
3、對于第一示例方法的一些實施例,所述初始上采樣包括最近鄰(nearest-neighbor)上采樣。
4、對于第一示例方法的一些實施例,關(guān)聯(lián)特征包括:將所述第二點云的特征與所述上下文信息級聯(lián)(concatenating),以獲得第三點云。
5、對于第一示例方法的一些實施例,所述上下文信息是逐體素(voxel-wise)的上下文信息。
6、對于第一示例方法的一些實施例,所述上下文信息包括上下文點云。
7、對于第一示例方法的一些實施例,所述上下文信息包括關(guān)于第二點云的信息。
8、對于第一示例方法的一些實施例,所述上下文信息包括關(guān)于第二點云的體素占用狀態(tài)的信息。
9、對于第一示例方法的一些實施例,所述上下文信息包括關(guān)于相對于第一點云的父體素(parent?voxel)的位置的子體素(child?voxel)的位置的信息。
10、對于第一示例方法的一些實施例,所述上下文信息包括關(guān)于第一點云和第二點云中的至少一個點云的占用體素的位置的坐標(biāo)信息。
11、對于第一示例方法的一些實施例,所述上下文信息包括坐標(biāo)信息,并且坐標(biāo)信息是歐幾里得坐標(biāo)、球面坐標(biāo)和柱面坐標(biāo)之一的形式。
12、對于第一示例方法的一些實施例,所述上下文信息提供除了可用于第一點云的初始上采樣的信息之外的關(guān)于第一點云的已知信息。
13、對于第一示例方法的一些實施例,所述上下文信息包括第二點云的位深度(bitdepth)。
14、第一示例方法的一些實施例還可以包括對輸入點云和第一比特流執(zhí)行特征解碼以生成所述第一點云。
15、第一示例方法的一些實施例還可以包括:對修剪后的點云執(zhí)行特征聚合(featureaggregation)以生成所聚合的特征;以及對所聚合的特征執(zhí)行上下文感知(context-aware)上采樣過程以生成解碼點云。
16、第一示例方法的一些實施例還可以包括:對所述修剪后的點云執(zhí)行特征到殘差轉(zhuǎn)換(a?feature?to?residual?conversion)以生成殘差輸出;以及將修剪后的點云添加到所述殘差輸出以生成解碼點云。
17、第一示例方法的一些實施例還可以包括對修剪后的點云執(zhí)行特征聚合以生成所聚合的特征,其中對所聚合的特征執(zhí)行所述特征到殘差轉(zhuǎn)換。
18、對于第一示例方法的一些實施例,使用第一神經(jīng)網(wǎng)絡(luò)來執(zhí)行對占用狀態(tài)的預(yù)測。
19、對于第一示例方法的一些實施例,預(yù)測所述占用狀態(tài)預(yù)測至少一個體素的真實(ground-truth)占用狀態(tài)。
20、對于第一示例方法的一些實施例,預(yù)測所述占用狀態(tài)預(yù)測所述至少一個體素被占用的可能性。
21、對于第一示例方法的一些實施例,移除所述第三點云的體素是使用體素修剪過程來移除體素的。
22、第一示例方法的一些實施例還可以包括聚合所述第二點云的至少一個特征。
23、對于第一示例方法的一些實施例,預(yù)測至少一個體素的占用狀態(tài)包括:聚合所述第三點云的至少一個特征;用多層感知(mlp)層處理所述所聚合的特征以生成mlp層輸出;對所述mlp層輸出執(zhí)行softmax處理以生成softmax輸出值;以及執(zhí)行所述softmax輸出值的閾值化以生成所述第三點云的至少一個體素的所預(yù)測的占用狀態(tài)。
24、對于第一示例方法的一些實施例,softmax輸出值的閾值化將大于0.5的softmax輸出值轉(zhuǎn)換成輸出值1,并且將等于0.5或更小的softmax輸出值轉(zhuǎn)換成輸出值0。
25、對于第一示例方法的一些實施例,預(yù)測至少一個體素的占用狀態(tài)包括:聚合所述第三點云的至少一個特征;以及基于所聚合的特征,生成第三點云的至少一個體素的預(yù)測占用狀態(tài)。
26、對于第一示例方法的一些實施例,聚合至少一個特征包括:重復(fù)級聯(lián)過程一次或多次,所述級聯(lián)過程包括:對輸入點云進行稀疏3d卷積以生成卷積輸出點云;對所述卷積輸出點云執(zhí)行非線性激活過程以生成非線性輸出點云;以及如果存在級聯(lián)過程的下一個循環(huán),則將非線性輸出點云準(zhǔn)備成所述輸入點云,其中第三點云是級聯(lián)過程的第一循環(huán)的輸入點云,并且其中級聯(lián)過程的最后一個循環(huán)生成所聚合的特征。
27、第一示例方法的一些實施方式還可以包括將第三點云添加到級聯(lián)過程的最后一個循環(huán)的relu輸出點云。
28、對于第一示例方法的一些實施例,聚合至少一個特征包括:對輸入點云進行稀疏3d卷積以生成卷積輸出點云;以及在卷積輸出點云上執(zhí)行非線性激活過程以生成所聚合的特征。
29、對于第一示例方法的一些實施例,所述非線性激活過程包括整流器線性單元(relu)激活過程,并且所述非線性輸出點云包括relu輸出點云。
30、對于第一示例方法的一些實施例,聚合至少一個特征包括:重復(fù)第一級聯(lián)過程一次或多次,所述第一級聯(lián)過程包括:對第一輸入點云執(zhí)行第一稀疏3d卷積以生成第一卷積輸出點云;對第一卷積輸出點云執(zhí)行第一非線性激活過程以生成第一非線性輸出點云;以及如果存在所述第一級聯(lián)過程的下一個循環(huán),則將所述第一非線性輸出點云準(zhǔn)備成所述第一輸入點云,其中所述第三點云為所述第一級聯(lián)過程的第一循環(huán)的所述第一輸入點云,其中所述第一級聯(lián)過程的最后一個循環(huán)生成第一級聯(lián)過程輸出;重復(fù)第二級聯(lián)過程一次或多次,所述第二級聯(lián)過程包括:執(zhí)行第二輸入點云的第二稀疏3d卷積以生成第二卷積輸出點云;對第二卷積輸出點云執(zhí)行第二非線性激活過程以生成第二非線性輸出點云;以及如果存在所述第二級聯(lián)過程的下一個循環(huán),則將所述第二非線性輸出點云準(zhǔn)備成所述第二輸入點云,其中所述第三點云為所述第二級聯(lián)過程的第一循環(huán)的所述第二輸入點云,其中所述第二級聯(lián)過程的最后一個循環(huán)生成第二級聯(lián)過程輸出;將第一級聯(lián)過程輸出和第二級聯(lián)過程輸出級聯(lián)以生成級聯(lián)輸出;以及將所述第三點云添加到所述級聯(lián)輸出以生成所述所聚合的特征。
31、對于第一示例方法的一些實施例,聚合至少一個特征包括:重復(fù)第一級聯(lián)過程一次或多次,所述第一級聯(lián)過程包括:對第一輸入點云執(zhí)行第一稀疏3d卷積以生成第一卷積輸出點云;對所述第一卷積輸出點云執(zhí)行第一整流器線性單元(relu)激活過程以生成第一relu輸出點云;如果存在所述第一級聯(lián)過程的下一個循環(huán),則將所述第一relu輸出點云準(zhǔn)備成所述第一輸入點云,其中,所述第三點云是所述第一級聯(lián)過程的第一循環(huán)的所述第一輸入點云,其中,所述第一級聯(lián)過程的最后一個循環(huán)生成第一級聯(lián)過程輸出;重復(fù)第二級聯(lián)過程一次或多次,所述第二級聯(lián)過程包括:執(zhí)行第二輸入點云的第二稀疏3d卷積以生成第二卷積輸出點云;對所述第二卷積輸出點云執(zhí)行第二整流器線性單元(relu)激活過程以生成第二relu輸出點云;以及如果存在所述第二級聯(lián)過程的下一個循環(huán),則將所述第二relu輸出點云準(zhǔn)備成所述第二輸入點云,其中,所述第三點云是所述第二級聯(lián)過程的第一循環(huán)的所述第二輸入點云,其中,所述第二級聯(lián)過程的最后一個循環(huán)生成第二級聯(lián)過程輸出;將第一級聯(lián)過程輸出和第二級聯(lián)過程輸出級聯(lián)以生成級聯(lián)輸出;以及將所述第三點云添加到所述級聯(lián)輸出以生成所述所聚合的特征。
32、對于第一示例方法的一些實施例,聚合至少一個特征包括:對第三點云進行自關(guān)注(self-attention)過程;將所述第三點云加到所述自關(guān)注過程輸出以生成mlp過程輸入;對所述mlp過程輸入執(zhí)行mlp過程;以及將所述mlp過程輸入添加到所述mlp過程輸出以生成所述所聚合的特征;
33、對于第一示例方法的一些實施例,所述自關(guān)注過程基于第三點云的體素的k個最近鄰來生成輸出特征。
34、對于第一示例方法的一些實施例,聚合第三點云的至少一個特征包括執(zhí)行特征聚合過程兩次或更多次。
35、根據(jù)一些實施例的第一示例方法/裝置可以包括:處理器;以及存儲指令的非暫時性計算機可讀介質(zhì),所述指令在由所述處理器執(zhí)行時操作以使所述裝置:使用初始上采樣來對第一點云進行上采樣以獲得第二點云;將所述第二點云的特征與上下文信息相關(guān)聯(lián)以獲得第三點云;預(yù)測所述第三點云的至少一個體素的占用狀態(tài);以及根據(jù)所預(yù)測的占用狀態(tài)移除所述第三點云中被分類為空的體素,以生成修剪后的點云。
36、對于第一示例裝置的一些實施例,所述初始上采樣包括:最近鄰上采樣。
37、對于第一示例裝置的一些實施例,關(guān)聯(lián)特征包括:將所述第二點云的特征與上下文信息級聯(lián)以獲得第三點云。
38、根據(jù)一些實施例的示例設(shè)備可以包括:根據(jù)上面列出的裝置的裝置;以及以下至少一者:(i)天線,被配置為接收信號,所述信號包括表示所述圖像的數(shù)據(jù),(ii)頻帶限制器,被配置為將所接收的信號限制到包括表示所述圖像的數(shù)據(jù)的頻帶,或(iii)顯示器,被配置為顯示所述圖像。
39、示例設(shè)備的一些實施例還可以包括tv、蜂窩電話、平板電腦和機頂盒(stb)中的至少一個。
40、根據(jù)一些實施例的示例計算機可讀介質(zhì)可以包括用于使一個或多個處理器執(zhí)行以下操作的指令:使用初始上采樣來對第一點云進行上采樣以獲得第二點云;將所述第二點云的特征與上下文信息相關(guān)聯(lián)以獲得第三點云;預(yù)測所述第三點云的至少一個體素的占用狀態(tài);以及根據(jù)所預(yù)測的占用狀態(tài)移除所述第三點云中被分類為空的體素,以生成修剪后的點云。
41、根據(jù)一些實施例的示例計算機程序產(chǎn)品可以包括指令,當(dāng)程序由一個或多個處理器執(zhí)行時,所述指令使得一個或多個處理器:使用初始上采樣來對第一點云進行上采樣以獲得第二點云;將所述第二點云的特征與上下文信息相關(guān)聯(lián)以獲得第三點云;預(yù)測所述第三點云的至少一個體素的占用狀態(tài);以及根據(jù)所預(yù)測的占用狀態(tài)移除所述第三點云中被分類為空的體素,以生成修剪后的點云。
42、根據(jù)一些實施例的第二示例方法可以包括執(zhí)行第一點云的上下文感知上采樣以確定經(jīng)上采樣的第二點云,其中所述上下文感知上采樣包括:將第三點云的特征與上下文信息相關(guān)聯(lián),所述第三點云至少部分地基于所述第一點云的初始上采樣版本;以及至少部分地基于所述上下文信息從所述第三點云移除被預(yù)測為空的第四點云的體素以生成經(jīng)放大(upscaled)的第二點云。
43、根據(jù)一些實施例的第三示例方法可以包括:使用初始上采樣對第一點云進行上采樣以獲得第二點云;將所述第二點云的特征與上下文信息相關(guān)聯(lián)以獲得第三點云;預(yù)測所述第三點云的至少一個體素的占用狀態(tài),其中預(yù)測至少一個體素的占用狀態(tài)包括聚合所述第三點云的至少一個特征,其中聚合所述第三點云的至少一個特征包括使用第一神經(jīng)網(wǎng)絡(luò),并且其中使用所述第一神經(jīng)網(wǎng)絡(luò)來聚合所述第三點云的至少一個特征包括與所述第一神經(jīng)網(wǎng)絡(luò)一起使用第一組神經(jīng)網(wǎng)絡(luò)參數(shù);根據(jù)所述預(yù)測的占用狀態(tài),移除所述第三點云中被分類為空的體素,以生成修剪后的點云;以及在修剪后的點云上執(zhí)行特征聚合以生成所聚合的特征,其中在修剪后的點云上執(zhí)行特征聚合包括使用第二神經(jīng)網(wǎng)絡(luò),其中使用第二神經(jīng)網(wǎng)絡(luò)來生成所聚合的特征包括與第二神經(jīng)網(wǎng)絡(luò)一起使用第二組神經(jīng)網(wǎng)絡(luò)參數(shù),并且其中第一組神經(jīng)網(wǎng)絡(luò)參數(shù)與第二組神經(jīng)網(wǎng)絡(luò)參數(shù)相同。
44、第三示例方法的一些實施例還可以包括聚合所述第二點云的至少一個特征。
45、對于第三示例方法的一些實施例,其中聚合第二點云的至少一個特征包括使用第三神經(jīng)元網(wǎng)絡(luò),其中使用第三神經(jīng)元網(wǎng)絡(luò)來聚合第二點云的至少一個特征包括:與第三神經(jīng)元網(wǎng)絡(luò)一起使用第三組神經(jīng)網(wǎng)絡(luò)參數(shù),并且其中第三組神經(jīng)網(wǎng)絡(luò)參數(shù)與第一組神經(jīng)網(wǎng)絡(luò)參數(shù)相同。
46、對于第三示例方法的一些實施例,所述初始上采樣包括最近鄰上采樣。
47、對于第三示例方法的一些實施例,關(guān)聯(lián)特征包括將第二點云的特征與上下文信息級聯(lián)以獲得第三點云。
48、對于第三示例方法的一些實施例,關(guān)聯(lián)特征包括將第二點云的特征與上下文信息級聯(lián)以獲得第三點云。
49、對于第三示例方法的一些實施例,所述上下文信息是逐體素的上下文信息。
50、第三示例方法的一些實施例還可以包括對輸入點云和第一比特流執(zhí)行特征解碼以生成所述第一點云。
51、第三示例方法的一些實施例還可以包括對所聚合的特征執(zhí)行上下文感知上采樣過程以生成解碼后的點云。
52、第三示例方法的一些實施例還可以包括對所述修剪后的點云執(zhí)行特征到殘差轉(zhuǎn)換以生成殘差輸出;以及將所述修剪后的點云添加到所述殘差輸出以生成解碼后的點云。
53、對于第三示例方法的一些實施例,對所聚合的特征執(zhí)行特征到殘差轉(zhuǎn)換。
54、對于第三示例方法的一些實施例,預(yù)測所述占用狀態(tài)預(yù)測至少一個體素的真實占用狀態(tài)。
55、對于第三示例方法的一些實施例,預(yù)測所述占用狀態(tài)預(yù)測所述至少一個體素被占用的可能性。
56、對于第三示例方法的一些實施例,移除所述第三點云的體素是使用體素修剪過程來移除體素的。
57、對于第三示例方法的一些實施例,預(yù)測至少一個體素的占用狀態(tài)還包括:用多層感知(mlp)層處理所述所聚合的特征以生成mlp層輸出;對所述mlp層輸出執(zhí)行softmax處理以生成softmax輸出值;以及執(zhí)行所述softmax輸出值的閾值化以生成所述第三點云的至少一個體素的所預(yù)測的占用狀態(tài)。
58、對于第三示例方法的一些實施例,softmax輸出值的閾值化將大于0.5的softmax輸出值轉(zhuǎn)換成輸出值1,并且將等于0.5或更小的softmax輸出值轉(zhuǎn)換成輸出值0。
59、對于第三示例方法的一些實施例,預(yù)測至少一個體素的占用狀態(tài)包括:聚合所述第三點云的至少一個特征;以及基于所聚合的特征,生成第三點云的至少一個體素的預(yù)測占用狀態(tài)。
60、對于第三示例方法的一些實施例,聚合第三點云的至少一個特征包括:重復(fù)級聯(lián)過程一次或多次,所述級聯(lián)過程包括:對輸入點云進行稀疏3d卷積以生成卷積輸出點云;對所述卷積輸出點云執(zhí)行非線性激活過程以生成非線性輸出點云;以及如果存在級聯(lián)過程的下一個循環(huán),則將非線性輸出點云準(zhǔn)備成所述輸入點云,其中第三點云是級聯(lián)過程的第一循環(huán)的所述輸入點云,并且其中級聯(lián)過程的最后一個循環(huán)生成所聚合的特征。
61、第三示例方法的一些實施例還可以包括將所述第三點云添加到所述級聯(lián)過程的最后一個循環(huán)的relu輸出點云。
62、對于第三示例方法的一些實施例,聚合至少一個特征包括:對輸入點云進行稀疏3d卷積以生成卷積輸出點云;以及在卷積輸出點云上執(zhí)行非線性激活過程以生成所聚合的特征。
63、對于第三示例方法的一些實施例,所述非線性激活過程包括整流器線性單元(relu)激活過程,并且所述非線性輸出點云包括relu輸出點云。
64、對于第三示例方法的一些實施例,聚合第三點云的至少一個特征包括:重復(fù)第一級聯(lián)過程一次或多次,所述第一級聯(lián)過程包括:對第一輸入點云執(zhí)行第一稀疏3d卷積以生成第一卷積輸出點云;對第一卷積輸出點云執(zhí)行第一非線性激活過程以生成第一非線性輸出點云;以及如果存在所述第一級聯(lián)過程的下一個循環(huán),則將所述第一非線性輸出點云準(zhǔn)備成所述第一輸入點云,其中所述第三點云為所述第一級聯(lián)過程的第一循環(huán)的所述第一輸入點云,其中所述第一級聯(lián)過程的最后一個循環(huán)生成第一級聯(lián)過程輸出;重復(fù)第二級聯(lián)過程一次或多次,所述第二級聯(lián)過程包括:執(zhí)行第二輸入點云的第二稀疏3d卷積以生成第二卷積輸出點云;對第二卷積輸出點云執(zhí)行第二非線性激活過程以生成第二非線性輸出點云;以及如果存在所述第二級聯(lián)過程的下一個循環(huán),則將所述第二非線性輸出點云準(zhǔn)備成所述第二輸入點云,其中所述第三點云為所述第二級聯(lián)過程的第一循環(huán)的所述第二輸入點云,其中所述第二級聯(lián)過程的最后一個循環(huán)生成第二級聯(lián)過程輸出;將所述第一級聯(lián)過程輸出和所述第二級聯(lián)過程輸出級聯(lián)以生成級聯(lián)輸出;以及將所述第三點云添加到所述級聯(lián)輸出以生成所述所聚合的特征。
65、對于第三示例方法的一些實施例,聚合至少一個特征包括:重復(fù)第一級聯(lián)過程一次或多次,所述第一級聯(lián)過程包括:對第一輸入點云執(zhí)行第一稀疏3d卷積以生成第一卷積輸出點云;對所述第一卷積輸出點云執(zhí)行第一整流器線性單元(relu)激活過程以生成第一relu輸出點云;如果存在所述第一級聯(lián)過程的下一個循環(huán),則將所述第一relu輸出點云準(zhǔn)備成所述第一輸入點云,其中,所述第三點云是所述第一級聯(lián)過程的第一循環(huán)的所述第一輸入點云,其中,所述第一級聯(lián)過程的最后一個循環(huán)生成第一級聯(lián)過程輸出;重復(fù)第二級聯(lián)過程一次或多次,所述第二級聯(lián)過程包括:執(zhí)行第二輸入點云的第二稀疏3d卷積以生成第二卷積輸出點云;對所述第二卷積輸出點云執(zhí)行第二整流器線性單元(relu)激活過程以生成第二relu輸出點云;以及如果存在所述第二級聯(lián)過程的下一個循環(huán),則將所述第二relu輸出點云準(zhǔn)備成所述第二輸入點云,其中,所述第三點云是所述第二級聯(lián)過程的第一循環(huán)的所述第二輸入點云,其中,所述第二級聯(lián)過程的最后一個循環(huán)生成第二級聯(lián)過程輸出;將所述第一級聯(lián)過程輸出和所述第二級聯(lián)過程輸出級聯(lián)以生成級聯(lián)輸出;以及將所述第三點云添加到所述級聯(lián)輸出以生成所述所聚合的特征。
66、對于第三示例方法的一些實施例,聚合至少一個特征包括:對所述第三點云進行自關(guān)注過程;將所述第三點云加到所述自關(guān)注過程輸出以生成mlp過程輸入;對所述mlp過程輸入執(zhí)行mlp過程;以及將所述mlp過程輸入添加到所述mlp過程輸出以生成所述所聚合的特征;
67、對于第三示例方法的一些實施例,所述自關(guān)注過程基于第三點云的體素的k個最近鄰來生成輸出特征。
68、對于第三示例方法的一些實施例,聚合第三點云的至少一個特征包括執(zhí)行特征聚合過程兩次或更多次。
69、對于第三示例方法的一些實施例,所述第一組神經(jīng)網(wǎng)絡(luò)參數(shù)和所述第二組神經(jīng)網(wǎng)絡(luò)參數(shù)是相同的一組神經(jīng)網(wǎng)絡(luò)參數(shù),該相同的一組神經(jīng)網(wǎng)絡(luò)參數(shù)由至少所述第一神經(jīng)網(wǎng)絡(luò)和所述第二神經(jīng)網(wǎng)絡(luò)使用。
70、對于第三示例方法的一些實施例,所述第一組神經(jīng)網(wǎng)絡(luò)參數(shù)和所述第二組神經(jīng)網(wǎng)絡(luò)參數(shù)是顯著但相同(distinct?but?identical)的神經(jīng)網(wǎng)絡(luò)參數(shù)組。
71、根據(jù)一些實施例的第四示例方法可以包括:獲得第一點云;確定所述第一點云的至少一個體素的占用狀態(tài);根據(jù)所確定的占用狀態(tài),移除所述第一點云中被分類為空的體素,以生成第二點云;將所述第二點云的特征與上下文信息相關(guān)聯(lián)以獲得第三點云;使用初始下采樣對所述第三點云進行下采樣以獲得第四點云;以及輸出所述第四點云作為編碼后的點云。
72、根據(jù)一些實施例的第四示例裝置可以包括:處理器;以及存儲指令的非暫時性計算機可讀介質(zhì),所述指令在由所述處理器執(zhí)行時操作以使所述裝置:獲得第一點云;確定所述第一點云的至少一個體素的占用狀態(tài);根據(jù)所確定的占用狀態(tài),移除所述第一點云中被分類為空的體素,以生成第二點云;將所述第二點云的特征與上下文信息相關(guān)聯(lián)以獲得第三點云;使用初始下采樣對所述第三點云進行下采樣以獲得第四點云;以及輸出所述第四點云作為編碼后的點云。
73、根據(jù)一些實施例的第五示例方法/裝置可以包括:訪問包括第一點云的數(shù)據(jù);以及傳輸包括所述第一點云的所述數(shù)據(jù)。
74、根據(jù)一些實施例的第五示例方法/裝置可以包括:訪問單元,被配置為訪問包括第一點云的數(shù)據(jù);以及發(fā)射器,其被配置為發(fā)送包括所述第一點云的所述數(shù)據(jù)。
75、根據(jù)一些實施例的第六示例方法/裝置可以包括:處理器;以及非暫時性計算機可讀介質(zhì),其存儲指令,所述指令在由所述處理器執(zhí)行時可操作以使所述裝置執(zhí)行以上列出的方法中的任何一種。
76、根據(jù)一些實施例的第七示例方法/裝置可以包括被配置為執(zhí)行上面列出的方法中的任何一個的至少一個處理器。
77、根據(jù)一些實施例的第八示例方法/裝置可以包括存儲用于使一個或多個處理器執(zhí)行上面列出的方法中的任何一個的指令的計算機可讀介質(zhì)。
78、根據(jù)一些實施例的第九示例方法/裝置可以包括至少一個處理器和存儲用于使至少一個處理器執(zhí)行上面列出的方法中的任何一個的指令的至少一個非暫時性計算機可讀介質(zhì)。
79、根據(jù)一些實施例的示例信號可以包括根據(jù)上面列出的方法中的任何一個生成的比特流。
80、在附加實施例中,提供了編碼器和解碼器裝置來執(zhí)行本文所述的方法。編碼器或解碼器裝置可包括被配置為執(zhí)行本文所述的方法的處理器。該裝置可包括存儲用于執(zhí)行本文所述方法的指令的計算機可讀介質(zhì)(例如,非暫時性介質(zhì))。在一些實施例中,計算機可讀介質(zhì)(例如,非暫時性介質(zhì))存儲使用本文所述方法中的任一方法進行編碼的視頻。
81、本發(fā)明的實施例中的一個或多個實施例還提供了一種計算機可讀存儲介質(zhì),該計算機可讀存儲介質(zhì)在其上存儲有用于根據(jù)上述方法中的任一方法來執(zhí)行雙向光流、對視頻數(shù)據(jù)進行編碼或解碼的指令。本發(fā)明實施例還提供了一種計算機可讀存儲介質(zhì),該計算機可讀存儲介質(zhì)在其上存儲有根據(jù)上述方法生成的比特流。本發(fā)明實施例還提供了一種用于發(fā)送根據(jù)上述方法生成的比特流的方法和裝置。本發(fā)明實施例還提供了一種計算機程序產(chǎn)品,該計算機程序產(chǎn)品包括用于執(zhí)行所述方法中任一種的指令。