本發(fā)明涉及遙感影像處理，尤其涉及一種基于遮擋場(chǎng)景的遙感目標(biāo)跟蹤方法及系統(tǒng)。

背景技術(shù)：

1、遙感跟蹤是一種利用遙感技術(shù)對(duì)地球表面及其變化進(jìn)行監(jiān)測(cè)和分析的重要手段。隨著科技的進(jìn)步，尤其是衛(wèi)星和無(wú)人機(jī)技術(shù)的發(fā)展，遙感跟蹤在各個(gè)領(lǐng)域展現(xiàn)出了廣泛的應(yīng)用潛力。

2、基于自注意力機(jī)制的序列到序列模型(transformer)在目標(biāo)檢測(cè)和分類方面已經(jīng)取得了顯著成功，但目標(biāo)在視頻序列中的外觀可能會(huì)被外界干擾因素所遮擋，受到影響導(dǎo)致跟蹤的困難。因此針對(duì)有干擾信息遮擋的場(chǎng)景下的目標(biāo)跟蹤，使用加入延時(shí)信息獲取模塊和動(dòng)態(tài)模板預(yù)測(cè)的網(wǎng)絡(luò)系統(tǒng)，對(duì)測(cè)試幀、測(cè)試相鄰幀進(jìn)行處理，提高遮擋目標(biāo)跟蹤的魯棒性。將信息輸入至延時(shí)信息獲取模塊中，判斷處理，得到最終模板幀。編碼解碼器的特征增強(qiáng)可以讓準(zhǔn)確度得到進(jìn)一步提升，得到分類分量和回歸分量，從而得到最后的預(yù)測(cè)目標(biāo)框。同時(shí)，利用從編碼解碼中間幀采樣的動(dòng)態(tài)更新模板作為額外的輸入至特征提取網(wǎng)絡(luò)，以充分利用時(shí)間和空間信息。

3、在現(xiàn)有技術(shù)中，中國(guó)發(fā)明專利公開號(hào)“cn115240088”，名稱為“無(wú)人機(jī)遙感目標(biāo)追蹤方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)”，該方法通過(guò)添加實(shí)時(shí)模板更新機(jī)制和相似性度量方式，減少計(jì)算量的同時(shí)，提高跟蹤精度和效率。但在跟蹤過(guò)程中，場(chǎng)景中無(wú)法避免會(huì)有遮擋物，導(dǎo)致跟蹤目標(biāo)長(zhǎng)時(shí)間丟失，降低跟蹤精度和效率。

4、綜上所述，如何解決場(chǎng)景存在遮擋物，目標(biāo)丟失及跟蹤效率和精度低的問(wèn)題，是目前本領(lǐng)域技術(shù)人員亟待解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案是，提供一種基于遮擋場(chǎng)景的遙感目標(biāo)跟蹤方法，包括以下步驟：

2、步驟1，特征提?。夯诟倪M(jìn)的resnet50網(wǎng)絡(luò)提取搜索圖和模板圖的特征，并對(duì)特征進(jìn)行降維和拉平處理；

3、步驟2，特征融合：通過(guò)自上下文增強(qiáng)模塊(eca)和交叉特征增強(qiáng)模塊(cfa)對(duì)搜索圖和模板圖的特征進(jìn)行融合，生成增強(qiáng)后的特征表示；

4、步驟3，延時(shí)信息獲取：通過(guò)層歸一化函數(shù)和線性層將外觀特征映射到查詢和密鑰中，結(jié)合內(nèi)積和softmax運(yùn)算計(jì)算目標(biāo)的運(yùn)動(dòng)特征，并通過(guò)多頭注意力和殘差連接實(shí)現(xiàn)長(zhǎng)期運(yùn)動(dòng)特征的迭代積分；

5、步驟4，編碼解碼：采用多層transformer編碼器對(duì)特征進(jìn)行增強(qiáng)，并通過(guò)多層transformer解碼器結(jié)合分類頭和回歸頭實(shí)現(xiàn)目標(biāo)的預(yù)測(cè)輸出；

6、步驟5，預(yù)測(cè)更新：通過(guò)預(yù)測(cè)更新網(wǎng)絡(luò)動(dòng)態(tài)更新模板，結(jié)合得分頭部網(wǎng)絡(luò)判斷當(dāng)前狀態(tài)的可靠性，實(shí)現(xiàn)對(duì)目標(biāo)的持續(xù)跟蹤。

7、進(jìn)一步地，步驟1中，所述特征提取包括以下步驟：

8、搜索圖x來(lái)自第一幀中從目標(biāo)中心擴(kuò)展兩倍邊長(zhǎng)的圖像，并重塑至128×128；

9、模板圖z來(lái)自上一幀中從目標(biāo)中心擴(kuò)展四倍邊長(zhǎng)的圖像，并重塑至256×256；

10、對(duì)resnet50網(wǎng)絡(luò)進(jìn)行改進(jìn)，包括移除最后一個(gè)block、將第4個(gè)block的卷積步幅從2變?yōu)?、將第4個(gè)block的3×3卷積修改為膨脹率為2的空洞卷積；

11、將x和z輸入改進(jìn)后的resnet50網(wǎng)絡(luò)，得到特征fx和fz，并通過(guò)1×1卷積降低通道數(shù)至256并拉平，得到fx1和fz1。

12、進(jìn)一步地，步驟2中，所述特征融合包括以下步驟：

13、特征融合網(wǎng)絡(luò)包含2個(gè)eca模塊和2個(gè)cfa模塊，組成一個(gè)融合層，重復(fù)4次；

14、eca模塊通過(guò)多頭自注意力聚焦有用語(yǔ)義，進(jìn)行上下文增強(qiáng)特征表達(dá)；

15、cfa模塊通過(guò)多頭交叉注意力融合特征圖；

16、最終將融合結(jié)果輸入到一個(gè)cfa模塊中，得到解碼特征f。

17、進(jìn)一步地，步驟3中，所述延時(shí)信息獲取包括以下步驟：

18、通過(guò)層歸一化函數(shù)和線性層將外觀特征映射到查詢qt和密鑰kt-1中；公式表示為：

19、

20、其中，qt表示查詢，kt-1表示密鑰，代表訓(xùn)練幀在特征提取網(wǎng)絡(luò)的輸出特征，代表訓(xùn)練幀相鄰幀在特征提取網(wǎng)絡(luò)的輸出特征；norm表示層規(guī)范化函數(shù)，即層歸一化，wq，wk表示全連接層的映射權(quán)重；

21、對(duì)查詢qt和密鑰kt-1執(zhí)行內(nèi)積和softmax運(yùn)算，計(jì)算目標(biāo)的運(yùn)動(dòng)特征；公式表示為：

22、

23、其中，wt-1→t是t幀位置的權(quán)值，softmax為softmax函數(shù)，()t為轉(zhuǎn)置操作，d為比例因子，用來(lái)防止梯度消失；

24、通過(guò)坐標(biāo)映射和線性層嵌入空間位置，生成運(yùn)動(dòng)特征；

25、對(duì)特征主干網(wǎng)絡(luò)的不同層進(jìn)行運(yùn)動(dòng)特征提取，并通過(guò)1×1卷積和多頭注意力實(shí)現(xiàn)長(zhǎng)期運(yùn)動(dòng)特征的迭代積分。

26、進(jìn)一步地，所述編碼解碼包括以下步驟：

27、采用多層transformer編碼器對(duì)特征進(jìn)行增強(qiáng)，通過(guò)多頭自注意力機(jī)制和位置編碼、尺度編碼提升特征表達(dá)能力；

28、采用多層transformer解碼器結(jié)合分類頭和回歸頭實(shí)現(xiàn)目標(biāo)的預(yù)測(cè)輸出；

29、引入旋轉(zhuǎn)對(duì)齊模塊，將水平區(qū)域提議轉(zhuǎn)換為旋轉(zhuǎn)區(qū)域提議，并結(jié)合旋轉(zhuǎn)對(duì)比去噪學(xué)習(xí)方法提升目標(biāo)檢測(cè)精度。

30、進(jìn)一步地，步驟5中，所述預(yù)測(cè)更新包括以下步驟：

31、在第一幀中初始化初始模板和動(dòng)態(tài)模板；

32、通過(guò)得分頭部網(wǎng)絡(luò)判斷當(dāng)前狀態(tài)的可靠性，當(dāng)?shù)梅殖^(guò)閾值τ時(shí)，更新動(dòng)態(tài)模板；

33、結(jié)合置信度分?jǐn)?shù)和更新間隔幀條件，動(dòng)態(tài)調(diào)整模板以捕捉目標(biāo)的時(shí)間變化信息。

34、進(jìn)一步地，還包括以下步驟：選取函數(shù)，采用smooth?l1?loss作為的網(wǎng)絡(luò)的回歸損失，采用focal?loss作為網(wǎng)絡(luò)的分類損失，采用rotate?iou?loss提升目標(biāo)旋轉(zhuǎn)包圍框回歸的精度；總損失函數(shù)為：

35、losstotal＝αlosssmooth1+βlossfocal+γlossrotateiou；

36、其中，losssmooth1、lossfocal、lossrotateiou分別為smooth?l1?loss、focal?loss和rotate?iou?loss，α、β、γ分別為損失權(quán)重系數(shù)。

37、進(jìn)一步地，所述旋轉(zhuǎn)對(duì)比去噪學(xué)習(xí)方法包括：

38、對(duì)每個(gè)目標(biāo)真值標(biāo)簽生成加噪的目標(biāo)query序列，包括噪聲正樣本序列和噪聲負(fù)樣本序列；

39、通過(guò)匈牙利算法完成預(yù)測(cè)結(jié)果與真值標(biāo)簽的二分匹配；

40、為解決上述技術(shù)問(wèn)題，本發(fā)明還提出一種遙感目標(biāo)跟蹤系統(tǒng)，用于執(zhí)行如上所述的基于遮擋場(chǎng)景的遙感目標(biāo)跟蹤方法，包括以下模塊：

41、特征提取模塊：用于對(duì)搜索圖和模板圖進(jìn)行特征提取和融合；

42、延時(shí)信息獲取模塊：用于分析目標(biāo)的運(yùn)動(dòng)特征并實(shí)現(xiàn)長(zhǎng)期運(yùn)動(dòng)特征的迭代積分；

43、目標(biāo)跟蹤模塊：包括多層transformer編碼器和解碼器，用于增強(qiáng)特征并實(shí)現(xiàn)目標(biāo)的預(yù)測(cè)輸出；

44、預(yù)測(cè)更新網(wǎng)絡(luò)模塊：用于動(dòng)態(tài)更新模板并判斷當(dāng)前狀態(tài)的可靠性。

45、進(jìn)一步地，所述預(yù)測(cè)更新網(wǎng)絡(luò)模塊包括：

46、得分頭部網(wǎng)絡(luò)：由三層感知器和一個(gè)sigmoid激活函數(shù)組成，用于判斷當(dāng)前狀態(tài)的可靠性；

47、動(dòng)態(tài)模板更新機(jī)制：根據(jù)置信度分?jǐn)?shù)和更新間隔幀條件，動(dòng)態(tài)調(diào)整模板以捕捉目標(biāo)的時(shí)間變化信息。

48、與現(xiàn)有技術(shù)相比，本發(fā)明具備以下有益效果：

49、1.本發(fā)明設(shè)計(jì)一種延時(shí)信息獲取模塊，通過(guò)交叉注意力和多頭注意力，以及線性、卷積、采樣等操作，實(shí)現(xiàn)遠(yuǎn)距離特征關(guān)聯(lián)，使得跟蹤器能夠在復(fù)雜有遮擋的場(chǎng)景下自適應(yīng)地關(guān)注有用信息并提取豐富的語(yǔ)義信息。

50、2.本發(fā)明通過(guò)使用帶有自注意力上下文增強(qiáng)模塊eca和交叉特征增強(qiáng)模塊cfa的特征提取算法，有效地選擇和保留了重要信息，同時(shí)抑制了不必要的干擾，有助于提高跟蹤任務(wù)的效率。

51、3.本發(fā)明通過(guò)加入動(dòng)態(tài)模板預(yù)測(cè)更新網(wǎng)絡(luò)后，不僅能捕捉到初始模板幀的空間信息，還能捕捉到目標(biāo)外觀隨時(shí)間變化所提供的額外時(shí)間信息，提升捕捉信息能力。本發(fā)明提出方法在訓(xùn)練集上，準(zhǔn)確率提升了2.9％，測(cè)試集提升了1.7％。