本發(fā)明涉及遙感影像處理,尤其涉及一種基于遮擋場(chǎng)景的遙感目標(biāo)跟蹤方法及系統(tǒng)。
背景技術(shù):
1、遙感跟蹤是一種利用遙感技術(shù)對(duì)地球表面及其變化進(jìn)行監(jiān)測(cè)和分析的重要手段。隨著科技的進(jìn)步,尤其是衛(wèi)星和無(wú)人機(jī)技術(shù)的發(fā)展,遙感跟蹤在各個(gè)領(lǐng)域展現(xiàn)出了廣泛的應(yīng)用潛力。
2、基于自注意力機(jī)制的序列到序列模型(transformer)在目標(biāo)檢測(cè)和分類方面已經(jīng)取得了顯著成功,但目標(biāo)在視頻序列中的外觀可能會(huì)被外界干擾因素所遮擋,受到影響導(dǎo)致跟蹤的困難。因此針對(duì)有干擾信息遮擋的場(chǎng)景下的目標(biāo)跟蹤,使用加入延時(shí)信息獲取模塊和動(dòng)態(tài)模板預(yù)測(cè)的網(wǎng)絡(luò)系統(tǒng),對(duì)測(cè)試幀、測(cè)試相鄰幀進(jìn)行處理,提高遮擋目標(biāo)跟蹤的魯棒性。將信息輸入至延時(shí)信息獲取模塊中,判斷處理,得到最終模板幀。編碼解碼器的特征增強(qiáng)可以讓準(zhǔn)確度得到進(jìn)一步提升,得到分類分量和回歸分量,從而得到最后的預(yù)測(cè)目標(biāo)框。同時(shí),利用從編碼解碼中間幀采樣的動(dòng)態(tài)更新模板作為額外的輸入至特征提取網(wǎng)絡(luò),以充分利用時(shí)間和空間信息。
3、在現(xiàn)有技術(shù)中,中國(guó)發(fā)明專利公開號(hào)“cn115240088”,名稱為“無(wú)人機(jī)遙感目標(biāo)追蹤方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)”,該方法通過(guò)添加實(shí)時(shí)模板更新機(jī)制和相似性度量方式,減少計(jì)算量的同時(shí),提高跟蹤精度和效率。但在跟蹤過(guò)程中,場(chǎng)景中無(wú)法避免會(huì)有遮擋物,導(dǎo)致跟蹤目標(biāo)長(zhǎng)時(shí)間丟失,降低跟蹤精度和效率。
4、綜上所述,如何解決場(chǎng)景存在遮擋物,目標(biāo)丟失及跟蹤效率和精度低的問(wèn)題,是目前本領(lǐng)域技術(shù)人員亟待解決的問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案是,提供一種基于遮擋場(chǎng)景的遙感目標(biāo)跟蹤方法,包括以下步驟:
2、步驟1,特征提?。夯诟倪M(jìn)的resnet50網(wǎng)絡(luò)提取搜索圖和模板圖的特征,并對(duì)特征進(jìn)行降維和拉平處理;
3、步驟2,特征融合:通過(guò)自上下文增強(qiáng)模塊(eca)和交叉特征增強(qiáng)模塊(cfa)對(duì)搜索圖和模板圖的特征進(jìn)行融合,生成增強(qiáng)后的特征表示;
4、步驟3,延時(shí)信息獲取:通過(guò)層歸一化函數(shù)和線性層將外觀特征映射到查詢和密鑰中,結(jié)合內(nèi)積和softmax運(yùn)算計(jì)算目標(biāo)的運(yùn)動(dòng)特征,并通過(guò)多頭注意力和殘差連接實(shí)現(xiàn)長(zhǎng)期運(yùn)動(dòng)特征的迭代積分;
5、步驟4,編碼解碼:采用多層transformer編碼器對(duì)特征進(jìn)行增強(qiáng),并通過(guò)多層transformer解碼器結(jié)合分類頭和回歸頭實(shí)現(xiàn)目標(biāo)的預(yù)測(cè)輸出;
6、步驟5,預(yù)測(cè)更新:通過(guò)預(yù)測(cè)更新網(wǎng)絡(luò)動(dòng)態(tài)更新模板,結(jié)合得分頭部網(wǎng)絡(luò)判斷當(dāng)前狀態(tài)的可靠性,實(shí)現(xiàn)對(duì)目標(biāo)的持續(xù)跟蹤。
7、進(jìn)一步地,步驟1中,所述特征提取包括以下步驟:
8、搜索圖x來(lái)自第一幀中從目標(biāo)中心擴(kuò)展兩倍邊長(zhǎng)的圖像,并重塑至128×128;
9、模板圖z來(lái)自上一幀中從目標(biāo)中心擴(kuò)展四倍邊長(zhǎng)的圖像,并重塑至256×256;
10、對(duì)resnet50網(wǎng)絡(luò)進(jìn)行改進(jìn),包括移除最后一個(gè)block、將第4個(gè)block的卷積步幅從2變?yōu)?、將第4個(gè)block的3×3卷積修改為膨脹率為2的空洞卷積;
11、將x和z輸入改進(jìn)后的resnet50網(wǎng)絡(luò),得到特征fx和fz,并通過(guò)1×1卷積降低通道數(shù)至256并拉平,得到fx1和fz1。
12、進(jìn)一步地,步驟2中,所述特征融合包括以下步驟:
13、特征融合網(wǎng)絡(luò)包含2個(gè)eca模塊和2個(gè)cfa模塊,組成一個(gè)融合層,重復(fù)4次;
14、eca模塊通過(guò)多頭自注意力聚焦有用語(yǔ)義,進(jìn)行上下文增強(qiáng)特征表達(dá);
15、cfa模塊通過(guò)多頭交叉注意力融合特征圖;
16、最終將融合結(jié)果輸入到一個(gè)cfa模塊中,得到解碼特征f。
17、進(jìn)一步地,步驟3中,所述延時(shí)信息獲取包括以下步驟:
18、通過(guò)層歸一化函數(shù)和線性層將外觀特征映射到查詢qt和密鑰kt-1中;公式表示為:
19、
20、其中,qt表示查詢,kt-1表示密鑰,代表訓(xùn)練幀在特征提取網(wǎng)絡(luò)的輸出特征,代表訓(xùn)練幀相鄰幀在特征提取網(wǎng)絡(luò)的輸出特征;norm表示層規(guī)范化函數(shù),即層歸一化,wq,wk表示全連接層的映射權(quán)重;
21、對(duì)查詢qt和密鑰kt-1執(zhí)行內(nèi)積和softmax運(yùn)算,計(jì)算目標(biāo)的運(yùn)動(dòng)特征;公式表示為:
22、
23、其中,wt-1→t是t幀位置的權(quán)值,softmax為softmax函數(shù),()t為轉(zhuǎn)置操作,d為比例因子,用來(lái)防止梯度消失;
24、通過(guò)坐標(biāo)映射和線性層嵌入空間位置,生成運(yùn)動(dòng)特征;
25、對(duì)特征主干網(wǎng)絡(luò)的不同層進(jìn)行運(yùn)動(dòng)特征提取,并通過(guò)1×1卷積和多頭注意力實(shí)現(xiàn)長(zhǎng)期運(yùn)動(dòng)特征的迭代積分。
26、進(jìn)一步地,所述編碼解碼包括以下步驟:
27、采用多層transformer編碼器對(duì)特征進(jìn)行增強(qiáng),通過(guò)多頭自注意力機(jī)制和位置編碼、尺度編碼提升特征表達(dá)能力;
28、采用多層transformer解碼器結(jié)合分類頭和回歸頭實(shí)現(xiàn)目標(biāo)的預(yù)測(cè)輸出;
29、引入旋轉(zhuǎn)對(duì)齊模塊,將水平區(qū)域提議轉(zhuǎn)換為旋轉(zhuǎn)區(qū)域提議,并結(jié)合旋轉(zhuǎn)對(duì)比去噪學(xué)習(xí)方法提升目標(biāo)檢測(cè)精度。
30、進(jìn)一步地,步驟5中,所述預(yù)測(cè)更新包括以下步驟:
31、在第一幀中初始化初始模板和動(dòng)態(tài)模板;
32、通過(guò)得分頭部網(wǎng)絡(luò)判斷當(dāng)前狀態(tài)的可靠性,當(dāng)?shù)梅殖^(guò)閾值τ時(shí),更新動(dòng)態(tài)模板;
33、結(jié)合置信度分?jǐn)?shù)和更新間隔幀條件,動(dòng)態(tài)調(diào)整模板以捕捉目標(biāo)的時(shí)間變化信息。
34、進(jìn)一步地,還包括以下步驟:選取函數(shù),采用smooth?l1?loss作為的網(wǎng)絡(luò)的回歸損失,采用focal?loss作為網(wǎng)絡(luò)的分類損失,采用rotate?iou?loss提升目標(biāo)旋轉(zhuǎn)包圍框回歸的精度;總損失函數(shù)為:
35、losstotal=αlosssmooth1+βlossfocal+γlossrotateiou;
36、其中,losssmooth1、lossfocal、lossrotateiou分別為smooth?l1?loss、focal?loss和rotate?iou?loss,α、β、γ分別為損失權(quán)重系數(shù)。
37、進(jìn)一步地,所述旋轉(zhuǎn)對(duì)比去噪學(xué)習(xí)方法包括:
38、對(duì)每個(gè)目標(biāo)真值標(biāo)簽生成加噪的目標(biāo)query序列,包括噪聲正樣本序列和噪聲負(fù)樣本序列;
39、通過(guò)匈牙利算法完成預(yù)測(cè)結(jié)果與真值標(biāo)簽的二分匹配;
40、為解決上述技術(shù)問(wèn)題,本發(fā)明還提出一種遙感目標(biāo)跟蹤系統(tǒng),用于執(zhí)行如上所述的基于遮擋場(chǎng)景的遙感目標(biāo)跟蹤方法,包括以下模塊:
41、特征提取模塊:用于對(duì)搜索圖和模板圖進(jìn)行特征提取和融合;
42、延時(shí)信息獲取模塊:用于分析目標(biāo)的運(yùn)動(dòng)特征并實(shí)現(xiàn)長(zhǎng)期運(yùn)動(dòng)特征的迭代積分;
43、目標(biāo)跟蹤模塊:包括多層transformer編碼器和解碼器,用于增強(qiáng)特征并實(shí)現(xiàn)目標(biāo)的預(yù)測(cè)輸出;
44、預(yù)測(cè)更新網(wǎng)絡(luò)模塊:用于動(dòng)態(tài)更新模板并判斷當(dāng)前狀態(tài)的可靠性。
45、進(jìn)一步地,所述預(yù)測(cè)更新網(wǎng)絡(luò)模塊包括:
46、得分頭部網(wǎng)絡(luò):由三層感知器和一個(gè)sigmoid激活函數(shù)組成,用于判斷當(dāng)前狀態(tài)的可靠性;
47、動(dòng)態(tài)模板更新機(jī)制:根據(jù)置信度分?jǐn)?shù)和更新間隔幀條件,動(dòng)態(tài)調(diào)整模板以捕捉目標(biāo)的時(shí)間變化信息。
48、與現(xiàn)有技術(shù)相比,本發(fā)明具備以下有益效果:
49、1.本發(fā)明設(shè)計(jì)一種延時(shí)信息獲取模塊,通過(guò)交叉注意力和多頭注意力,以及線性、卷積、采樣等操作,實(shí)現(xiàn)遠(yuǎn)距離特征關(guān)聯(lián),使得跟蹤器能夠在復(fù)雜有遮擋的場(chǎng)景下自適應(yīng)地關(guān)注有用信息并提取豐富的語(yǔ)義信息。
50、2.本發(fā)明通過(guò)使用帶有自注意力上下文增強(qiáng)模塊eca和交叉特征增強(qiáng)模塊cfa的特征提取算法,有效地選擇和保留了重要信息,同時(shí)抑制了不必要的干擾,有助于提高跟蹤任務(wù)的效率。
51、3.本發(fā)明通過(guò)加入動(dòng)態(tài)模板預(yù)測(cè)更新網(wǎng)絡(luò)后,不僅能捕捉到初始模板幀的空間信息,還能捕捉到目標(biāo)外觀隨時(shí)間變化所提供的額外時(shí)間信息,提升捕捉信息能力。本發(fā)明提出方法在訓(xùn)練集上,準(zhǔn)確率提升了2.9%,測(cè)試集提升了1.7%。