本發(fā)明涉及衛(wèi)星視頻處理與分析，具體涉及一種基于衛(wèi)星視頻的運(yùn)動(dòng)目標(biāo)分割方法及系統(tǒng)。

背景技術(shù)：

1、視頻衛(wèi)星是一種新型的地球觀測衛(wèi)星，與傳統(tǒng)的地球觀測衛(wèi)星相比，視頻衛(wèi)星可以持續(xù)觀測某一特定區(qū)域，從而可以獲取具有高空間分辨率和高光譜分辨率的遙感圖像，還可以獲得具有高時(shí)間分辨率的遙感圖像。衛(wèi)星視頻的智能處理與分析可以自動(dòng)提取并分析感興趣場景中的信息，以為災(zāi)害監(jiān)測、海洋監(jiān)測和生態(tài)系統(tǒng)干擾監(jiān)測等實(shí)際應(yīng)用場景提供重要的技術(shù)支持，并在其中發(fā)揮重要作用。其中，衛(wèi)星視頻目標(biāo)分割可以實(shí)現(xiàn)對(duì)時(shí)連續(xù)場景中感興趣目標(biāo)的精細(xì)分割。不僅能定位目標(biāo)的位置，還能獲得額外的精細(xì)描述信息，以為更精細(xì)的分析和應(yīng)用提供支持。

2、對(duì)于衛(wèi)星視頻，運(yùn)動(dòng)目標(biāo)分割的相關(guān)技術(shù)主要分為無監(jiān)督和半監(jiān)督兩類。具體的，基于光流結(jié)合無監(jiān)督學(xué)習(xí)的方法可以通過光流信息捕捉目標(biāo)在時(shí)間維度上的運(yùn)動(dòng)特性，但此類方法對(duì)光流估計(jì)的準(zhǔn)確性依賴較高，當(dāng)衛(wèi)星視頻中出現(xiàn)復(fù)雜場景（如遮擋、光照變化或目標(biāo)快速移動(dòng)）時(shí)，光流估計(jì)容易失效，導(dǎo)致分割性能下降?；陟o態(tài)圖像分割的監(jiān)督學(xué)習(xí)方法，例如：osvos（one-shot?video?object?segmentation），該類方法依賴第一幀的標(biāo)注進(jìn)行模型微調(diào)，僅利用靜態(tài)特征對(duì)后續(xù)幀逐幀處理，忽略了視頻的時(shí)序信息，難以有效應(yīng)對(duì)目標(biāo)外觀變化或背景動(dòng)態(tài)干擾。此外，這些方法普遍存在計(jì)算開銷較大、實(shí)時(shí)性不足的問題，限制了其在資源受限的衛(wèi)星載荷上的應(yīng)用。

3、可見，基于衛(wèi)星視頻的運(yùn)動(dòng)目標(biāo)分割的相關(guān)方法存在計(jì)算流程復(fù)雜，目標(biāo)分割邊緣不夠精細(xì)化、時(shí)序信息挖掘利用不足等問題，從而導(dǎo)致無法高效、準(zhǔn)確地實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)分割。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題是無法高效、準(zhǔn)確地基于衛(wèi)星視頻實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)分割的問題。

2、為解決上述技術(shù)問題，本發(fā)明提供了一種基于衛(wèi)星視頻的運(yùn)動(dòng)目標(biāo)分割方法及系統(tǒng)，具體采用如下技術(shù)方案：

3、第一方面，本發(fā)明提供一種基于衛(wèi)星視頻的運(yùn)動(dòng)目標(biāo)分割方法，包括：首先，基于衛(wèi)星視頻中待分割的查詢幀圖像確定參考幀圖像，并根據(jù)參考幀圖像確定對(duì)應(yīng)的真實(shí)掩膜圖像。其中，參考幀圖像為衛(wèi)星視頻中已目標(biāo)分割的幀圖像，真實(shí)掩膜圖像用于表征參考幀圖像中運(yùn)動(dòng)目標(biāo)的位置和形狀。然后，根據(jù)真實(shí)掩膜圖像進(jìn)行形狀先驗(yàn)提取，確定邊緣掩膜圖像，邊緣掩膜圖像用于表征運(yùn)動(dòng)目標(biāo)的邊緣形狀。其次，通過運(yùn)動(dòng)目標(biāo)分割模型對(duì)查詢幀圖像、參考幀圖像、真實(shí)掩膜圖像和邊緣掩膜圖像進(jìn)行特征提取、時(shí)空語義關(guān)系建模和語義親和約束處理，輸出得到目標(biāo)掩膜圖像，該目標(biāo)掩膜圖像用于表征運(yùn)動(dòng)目標(biāo)分割結(jié)果。

4、該方法，通過形狀先驗(yàn)融合方法，顯著增強(qiáng)邊緣特征表達(dá)能力。同時(shí)，針對(duì)靜止目標(biāo)對(duì)運(yùn)動(dòng)目標(biāo)分割模型的語義學(xué)習(xí)產(chǎn)生干擾，該方法采用了前背景語義親和約束，以提升運(yùn)動(dòng)目標(biāo)分割模型語義學(xué)習(xí)的魯棒性和準(zhǔn)確性。這樣，通過運(yùn)動(dòng)目標(biāo)分割模型進(jìn)行特征提取、時(shí)空語義關(guān)系建模和語義親和約束處理，能夠?qū)崿F(xiàn)對(duì)衛(wèi)星視頻中運(yùn)動(dòng)目標(biāo)的精確分割，并能有效適應(yīng)復(fù)雜背景和光照變化，從而可以有效地提高對(duì)衛(wèi)星視頻運(yùn)動(dòng)目標(biāo)分割的效率和準(zhǔn)確性。

5、結(jié)合第一方面，在一種可選擇的實(shí)現(xiàn)方式中，上述運(yùn)動(dòng)目標(biāo)分割模型包括：特征提取模塊、時(shí)空語義關(guān)系建模模塊和語義親和約束分割解碼頭模塊。其中，特征提取模塊可以用于分別提取查詢幀圖像、參考幀圖像、真實(shí)掩膜圖像和邊緣掩膜圖像中用于表征物體空間信息及邊緣特性的特征，得到對(duì)應(yīng)的第一提取特征、第二提取特征、第三提取特征和第四提取特征，并將第一提取特征、第二提取特征、第三提取特征和第四提取特征進(jìn)行拼接，確定目標(biāo)拼接特征。時(shí)空語義關(guān)系建模模塊可以用于根據(jù)目標(biāo)拼接特征進(jìn)行位置編碼添加、時(shí)空語義關(guān)系建模編碼和目標(biāo)預(yù)測解碼，確定編碼特征和解碼特征。語義親和約束分割解碼頭模塊可以用于根據(jù)編碼特征和解碼特征進(jìn)行掩膜預(yù)測，確定目標(biāo)掩膜圖像。

6、在本實(shí)現(xiàn)方式中，運(yùn)動(dòng)目標(biāo)分割模型通過特征提取模塊可以準(zhǔn)確地提取查詢幀圖像、參考幀圖像、真實(shí)掩膜圖像和邊緣掩膜圖像中用于表征物體空間信息及邊緣特性的特征。通過時(shí)空語義關(guān)系建模模塊構(gòu)建時(shí)空語義關(guān)系，使得運(yùn)動(dòng)目標(biāo)分割模型能夠有效地處理運(yùn)動(dòng)目標(biāo)的時(shí)空信息，解決了運(yùn)動(dòng)目標(biāo)分割中的多樣性與不確定性問題，進(jìn)而可以提高運(yùn)動(dòng)目標(biāo)分割的準(zhǔn)確性。通過語義親和約束分割解碼頭模塊可以實(shí)現(xiàn)語義一致性的魯棒表示學(xué)習(xí)，可以有效地保提高運(yùn)動(dòng)目標(biāo)分割模型對(duì)運(yùn)動(dòng)目標(biāo)語義學(xué)習(xí)的魯棒性和精準(zhǔn)性。

7、結(jié)合第一方面，在一種可選擇的實(shí)現(xiàn)方式中，上述時(shí)空語義關(guān)系建模模塊包括：位置編碼模塊、transformer編碼器和transformer解碼器。其中，位置編碼模塊可以用于對(duì)目標(biāo)拼接特征添加位置編碼，得到位置編碼拼接特征。transformer編碼器可以用于根據(jù)位置編碼拼接特征，通過多頭自注意力模塊和全連接前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行時(shí)空語義關(guān)系建模編碼，確定并輸出編碼特征。transformer解碼器可以用于根據(jù)編碼特征，通過多頭自注意力模塊、多頭交叉注意力模塊和全連接前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)預(yù)測解碼，確定并輸出解碼特征。

8、在本實(shí)現(xiàn)方式中，通過位置編碼模塊引入位置編碼來提供位置信息，使得transformer編碼器通過時(shí)空語義關(guān)系建模編碼能夠有效地捕捉輸入幀中各像素之間的時(shí)空依賴關(guān)系?？梢允惯\(yùn)動(dòng)目標(biāo)分割模型在多個(gè)時(shí)間步內(nèi)建模物體之間的動(dòng)態(tài)變化，提升了目標(biāo)檢測和跟蹤的精準(zhǔn)度。transformer編碼器通過時(shí)空語義關(guān)系建模編碼還能夠?qū)W習(xí)并建立查詢幀圖像和參考幀圖像之間運(yùn)動(dòng)目標(biāo)的空間-時(shí)間對(duì)應(yīng)關(guān)系。transformer解碼器通過目標(biāo)預(yù)測解碼可以預(yù)測每一幀圖像中運(yùn)動(dòng)目標(biāo)的空間位置信息，進(jìn)而增強(qiáng)了運(yùn)動(dòng)目標(biāo)分割模型的時(shí)空推理能力。這樣，不僅能夠準(zhǔn)確地捕捉運(yùn)動(dòng)目標(biāo)在不同時(shí)間步驟之間的變換，還能夠通過學(xué)習(xí)目標(biāo)對(duì)象的魯棒性表示，使運(yùn)動(dòng)目標(biāo)分割模型在面臨類似對(duì)象的混淆問題時(shí)，提高運(yùn)動(dòng)目標(biāo)分割的準(zhǔn)確性。

9、結(jié)合第一方面，在一種可選擇的實(shí)現(xiàn)方式中，上述語義親和約束分割解碼頭模塊包括：目標(biāo)親和模塊和目標(biāo)掩膜預(yù)測模塊。其中，目標(biāo)親和模塊可以用于根據(jù)解碼特征和編碼特征，確定并輸出自注意力特征圖。目標(biāo)掩膜預(yù)測模塊可以用于根據(jù)自注意力特征圖和編碼特征通過上采樣和卷積處理，確定目標(biāo)掩膜圖像。

10、在本實(shí)現(xiàn)方式中，通過目標(biāo)親和模塊和目標(biāo)掩膜預(yù)測模塊可以顯式地約束運(yùn)動(dòng)目標(biāo)分割模型的學(xué)習(xí)過程，并使得運(yùn)動(dòng)目標(biāo)分割模型能夠更加準(zhǔn)確地區(qū)分運(yùn)動(dòng)目標(biāo)與靜止目標(biāo)，優(yōu)化背景與前景的語義一致性。

11、結(jié)合第一方面，在一種可選擇的實(shí)現(xiàn)方式中，上述語義親和約束分割解碼頭模塊還包括：語義親和度預(yù)測模塊。其中，語義親和度預(yù)測模塊可以用于根據(jù)自注意力特征圖通過卷積處理、批量歸一化處理和sigmoid激活處理，生成語義親和度圖；其中，語義親和度圖為用于表征前景和背景語義相關(guān)性的熱力圖，語義親和度圖用于訓(xùn)練運(yùn)動(dòng)目標(biāo)分割模型。

12、在本實(shí)現(xiàn)方式中，在運(yùn)動(dòng)目標(biāo)分割模型的訓(xùn)練過程中，可以通過語義親和度預(yù)測模塊生成語義親和度圖，為運(yùn)動(dòng)目標(biāo)分割模型提供對(duì)像素點(diǎn)間語義關(guān)系的強(qiáng)監(jiān)督，從而優(yōu)化運(yùn)動(dòng)目標(biāo)分割模型分割運(yùn)動(dòng)目標(biāo)的準(zhǔn)確性和魯棒性。

13、結(jié)合第一方面，在一種可選擇的實(shí)現(xiàn)方式中，上述運(yùn)動(dòng)目標(biāo)分割模型的損失函數(shù)的表達(dá)式為：

14、；

15、；

16、；

17、；

18、其中，表示運(yùn)動(dòng)目標(biāo)分割模型的損失函數(shù)，表示幀圖像中像素的分類損失，表示目標(biāo)掩膜預(yù)測損失，表示親和度損失，表示目標(biāo)掩膜圖像中的像素集合，表示運(yùn)動(dòng)目標(biāo)的預(yù)測掩膜圖像，表示運(yùn)動(dòng)目標(biāo)的真值掩膜圖像，表示運(yùn)動(dòng)目標(biāo)的數(shù)量，表示語義親和度圖的尺寸，表示語義親和度圖的特征點(diǎn)，表示語義親和度圖的預(yù)測概率，表示目標(biāo)概率分布的真值。表示第個(gè)運(yùn)動(dòng)目標(biāo)，表示第個(gè)運(yùn)動(dòng)目標(biāo)對(duì)應(yīng)的目標(biāo)掩膜圖像，表示目標(biāo)掩膜圖像在像素點(diǎn)處的值，表示真值掩膜圖像在像素點(diǎn)處的值。

19、結(jié)合第一方面，在一種可選擇的實(shí)現(xiàn)方式中，上述根據(jù)真實(shí)掩膜圖像進(jìn)行形狀先驗(yàn)提取，確定邊緣掩膜圖像，包括：首先，對(duì)真實(shí)掩膜圖像進(jìn)行預(yù)處理，得到預(yù)處理后的真實(shí)掩膜圖像。然后，對(duì)預(yù)處理后的真實(shí)掩膜圖像進(jìn)行掩膜二值化處理，得到二值化掩膜圖像。最后，對(duì)二值化掩膜圖像進(jìn)行邊緣檢測，得到邊緣掩膜圖像。

20、結(jié)合第一方面，在一種可選擇的實(shí)現(xiàn)方式中，上述對(duì)二值化掩膜圖像進(jìn)行邊緣檢測，得到邊緣掩膜圖像，包括：首先，根據(jù)二值化掩膜圖像，確定圖像中的水平梯度和垂直梯度。然后，根據(jù)水平梯度和垂直梯度，確定梯度幅值。其次，對(duì)梯度幅值進(jìn)行二值化處理，確定二值化后梯度幅值。最后，根據(jù)二值化后梯度幅值生成邊緣掩膜圖像。

21、結(jié)合第一方面，在一種可選擇的實(shí)現(xiàn)方式中，上述水平梯度和垂直梯度的表達(dá)式為：

22、；

23、；

24、；

25、；

26、其中，表示水平梯度，表示垂直梯度，表示二值化掩膜圖像，表示水平方向的sobel算子，表示垂直方向的sobel算子，表示卷積操作，表示二值化掩膜圖像中像素點(diǎn)的橫坐標(biāo)，表示二值化掩膜圖像中像素點(diǎn)的縱坐標(biāo)。梯度幅值的表達(dá)式為：

27、；

28、其中，表示梯度幅值。二值化后梯度幅值的表達(dá)式為：

29、；

30、其中,表示二值化后梯度幅值，表示標(biāo)準(zhǔn)差。

31、第二方面，本發(fā)明提供一種基于衛(wèi)星視頻的運(yùn)動(dòng)目標(biāo)分割系統(tǒng)，包括：獲取模塊、形狀先驗(yàn)提取模塊、運(yùn)動(dòng)目標(biāo)分割模塊。其中，獲取模塊可以用于基于衛(wèi)星視頻中待分割的查詢幀圖像確定參考幀圖像，并根據(jù)參考幀圖像確定對(duì)應(yīng)的真實(shí)掩膜圖像；參考幀圖像為衛(wèi)星視頻中已目標(biāo)分割的幀圖像，真實(shí)掩膜圖像用于表征參考幀圖像中運(yùn)動(dòng)目標(biāo)的位置和形狀。形狀先驗(yàn)提取模塊可以用于根據(jù)真實(shí)掩膜圖像進(jìn)行形狀先驗(yàn)提取，確定邊緣掩膜圖像，邊緣掩膜圖像用于表征運(yùn)動(dòng)目標(biāo)的邊緣形狀。運(yùn)動(dòng)目標(biāo)分割模塊可以用于通過運(yùn)動(dòng)目標(biāo)分割模型對(duì)查詢幀圖像、參考幀圖像、真實(shí)掩膜圖像和邊緣掩膜圖像進(jìn)行特征提取、時(shí)空語義關(guān)系建模和語義親和約束處理，輸出得到目標(biāo)掩膜圖像，該目標(biāo)掩膜圖像用于表征運(yùn)動(dòng)目標(biāo)分割結(jié)果。

32、第三方面，本發(fā)明提供一種電子設(shè)備，包括：存儲(chǔ)器、一個(gè)或多個(gè)處理器；存儲(chǔ)器與處理器耦合；其中，存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序代碼，計(jì)算機(jī)程序代碼包括計(jì)算機(jī)指令，當(dāng)計(jì)算機(jī)指令被處理器執(zhí)行時(shí)，使得電子設(shè)備執(zhí)行如上述第一方面及其任一種可選擇的實(shí)現(xiàn)方式所提供的方法。

33、第四方面，本發(fā)明提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括計(jì)算機(jī)指令，當(dāng)計(jì)算機(jī)指令在電子設(shè)備上運(yùn)行時(shí)，使得電子設(shè)備執(zhí)行如上述第一方面及其任一種可選擇的實(shí)現(xiàn)方式所提供的方法。

34、可以理解地，上述第二方面提供的基于衛(wèi)星視頻的運(yùn)動(dòng)目標(biāo)分割系統(tǒng)、第三方面的電子設(shè)備以及第四方面的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)所能達(dá)到的有益效果，可參考第一方面及其任一種可選擇的實(shí)現(xiàn)方式中的有益效果，此處不再贅述。