本發(fā)明涉及數(shù)據(jù)處理的，具體地涉及一種點(diǎn)云語義場(chǎng)景補(bǔ)全系統(tǒng)。
背景技術(shù)：
1、激光雷達(dá)技術(shù)通過提供詳細(xì)的幾何數(shù)據(jù)，改變了三維環(huán)境的感知方式，廣泛應(yīng)用于機(jī)器人、自動(dòng)駕駛、城市規(guī)劃和環(huán)境監(jiān)測(cè)等領(lǐng)域。然而，盡管激光雷達(dá)點(diǎn)云提供了豐富的幾何信息，但其不完整性和稀疏性限制了在實(shí)際應(yīng)用中的效能。
2、為應(yīng)對(duì)這些挑戰(zhàn)，點(diǎn)云語義場(chǎng)景補(bǔ)全（semantic?scene?completion，ssc）旨在通過部分點(diǎn)云來預(yù)測(cè)三維空間中所有體素的占用情況及其語義標(biāo)簽，從而不僅推斷空間占用，還賦予每個(gè)體素具體的語義意義（如建筑物、樹木、道路等）。
3、然而，現(xiàn)有的點(diǎn)云語義場(chǎng)景補(bǔ)全網(wǎng)絡(luò)還存在場(chǎng)景補(bǔ)全完整性差、語義分割精度低的問題。
技術(shù)實(shí)現(xiàn)思路
1、鑒于此，本發(fā)明提供一種點(diǎn)云語義場(chǎng)景補(bǔ)全系統(tǒng)，以解決場(chǎng)景補(bǔ)全完整性差、語義分割精度低的問題。
2、一種點(diǎn)云語義場(chǎng)景補(bǔ)全系統(tǒng)，包括體素化處理模塊、多尺度體素特征提取模塊和鳥瞰圖特征處理模塊；
3、體素化處理模塊以單幀激光雷達(dá)點(diǎn)云為輸入，對(duì)單幀激光雷達(dá)點(diǎn)云進(jìn)行離散化處理，得到結(jié)構(gòu)化3d體素網(wǎng)格，然后對(duì)結(jié)構(gòu)化3d體素網(wǎng)格中的各個(gè)體素實(shí)施特征提取操作，得到各個(gè)點(diǎn)級(jí)特征，將點(diǎn)級(jí)特征經(jīng)多層感知機(jī)進(jìn)行特征映射，再采用最大池化操作進(jìn)行聚合，得到初始體素特征；
4、多尺度體素特征提取模塊對(duì)初始體素特征進(jìn)行處理，得到多尺度體素特征，所述多尺度體素特征提取模塊采用改進(jìn)的cylinder3d編碼器，改進(jìn)的cylinder3d編碼器包括不對(duì)稱殘差塊和不對(duì)稱下采樣塊；
5、鳥瞰圖特征處理模塊包括編碼器和解碼器，編碼器對(duì)初始體素特征進(jìn)行處理，提取得到多尺度鳥瞰圖特征，并將多尺度鳥瞰圖特征與多尺度體素特征進(jìn)行融合，將融合后的特征輸送至解碼器，解碼器基于跳躍連接、特征拼接和內(nèi)容感知特征重組，最終輸出語義場(chǎng)景補(bǔ)全的預(yù)測(cè)結(jié)果。
6、根據(jù)本發(fā)明提供的點(diǎn)云語義場(chǎng)景補(bǔ)全系統(tǒng)，通過體素化處理模塊對(duì)單幀激光雷達(dá)點(diǎn)云進(jìn)行離散化處理，得到初始體素特征，初始體素特征被分別輸送至多尺度體素特征提取模塊和鳥瞰圖特征處理模塊，多尺度體素特征提取模塊采用改進(jìn)的cylinder3d編碼器，專注于提取細(xì)粒度的3d空間特征，鳥瞰圖特征處理模塊則通過將體素?cái)?shù)據(jù)投影至二維平面，并借助編碼器和解碼器的2d卷積網(wǎng)絡(luò)，有效捕獲豐富的上下文信息，在編碼器中將多尺度鳥瞰圖特征與多尺度體素特征進(jìn)行融合，能夠使兩種特征的優(yōu)勢(shì)互補(bǔ)，使系統(tǒng)能夠兼顧詳細(xì)的幾何信息與全局上下文，進(jìn)而實(shí)現(xiàn)更為精準(zhǔn)、完整的場(chǎng)景重建，解決了場(chǎng)景補(bǔ)全完整性差、語義分割精度低的問題。在公開數(shù)據(jù)集合semantickitti的評(píng)測(cè)官網(wǎng)上的結(jié)果顯示，相比其它現(xiàn)有算法，本發(fā)明的系統(tǒng)在場(chǎng)景補(bǔ)全任務(wù)上表現(xiàn)最佳。
1.一種點(diǎn)云語義場(chǎng)景補(bǔ)全系統(tǒng)，其特征在于，包括體素化處理模塊、多尺度體素特征提取模塊和鳥瞰圖特征處理模塊；
2.根據(jù)權(quán)利要求1所述的點(diǎn)云語義場(chǎng)景補(bǔ)全系統(tǒng)，其特征在于，在體素化處理模塊中，先從輸入的單幀激光雷達(dá)點(diǎn)云中篩選出位于預(yù)定義范圍內(nèi)的點(diǎn)，從而得到一個(gè)過濾后的點(diǎn)云集，，表示第個(gè)點(diǎn)云，表示點(diǎn)云數(shù)量，基于點(diǎn)云集得到結(jié)構(gòu)化3d體素網(wǎng)格，，表示第個(gè)體素，、、分別為點(diǎn)云體素化后在3d空間中對(duì)應(yīng)的長(zhǎng)、寬、高三個(gè)維度的體素?cái)?shù)量；
3.根據(jù)權(quán)利要求2所述的點(diǎn)云語義場(chǎng)景補(bǔ)全系統(tǒng)，其特征在于，在多尺度體素特征提取模塊中，不對(duì)稱殘差塊通過兩條不同的分支處理初始體素特征：一條分支應(yīng)用連續(xù)的3d子流形稀疏卷積，卷積核的尺寸依次為1×3×3和3×1×3；另一條分支應(yīng)用連續(xù)的3d子流形稀疏卷積，卷積核的尺寸依次為3×1×3和1×3×3；最終，將來自兩條分支的輸出張量進(jìn)行逐元素相加；相加的結(jié)果輸入至不對(duì)稱下采樣塊，不對(duì)稱下采樣塊是設(shè)置在不對(duì)稱殘差塊之后的、步長(zhǎng)為2的3d稀疏卷積層，經(jīng)過不對(duì)稱下采樣塊處理得到多尺度體素特征，，其中，表示實(shí)數(shù)集合，表示第個(gè)尺度體素特征的通道數(shù)，=1,2,3。
4.根據(jù)權(quán)利要求3所述的點(diǎn)云語義場(chǎng)景補(bǔ)全系統(tǒng)，其特征在于，在編碼器中，編碼器先對(duì)初始體素特征投影，生成一個(gè)分辨率為的2d網(wǎng)格，再通過最大池化降進(jìn)行特征融合，第個(gè)2d網(wǎng)格單元的鳥瞰圖特征的表達(dá)式為：
5.根據(jù)權(quán)利要求1所述的點(diǎn)云語義場(chǎng)景補(bǔ)全系統(tǒng)，其特征在于，在編碼器和解碼器之間設(shè)有空洞空間金字塔池化模塊，在空洞空間金字塔池化模塊中，選取1、2、4作為擴(kuò)張率組合來執(zhí)行膨脹卷積。
6.根據(jù)權(quán)利要求4所述的點(diǎn)云語義場(chǎng)景補(bǔ)全系統(tǒng)，其特征在于，在解碼器中，采用內(nèi)容感知特征重組模塊對(duì)融合后的特征進(jìn)行上采樣，內(nèi)容感知特征重組模塊包括重組核預(yù)測(cè)單元和特征重組單元；
7.根據(jù)權(quán)利要求6所述的點(diǎn)云語義場(chǎng)景補(bǔ)全系統(tǒng)，其特征在于，所述系統(tǒng)的總損失函數(shù)為：