本發(fā)明涉及目標檢測，特別是指一種基于多尺度特征融合和特征增強的小目標檢測方法。

背景技術：

1、小目標檢測是計算機視覺領域的重要研究方向，旨在從復雜背景的圖像中對區(qū)域有限的實例進行分類和定位。在coco數據集中，通常將面積小于32x32像素的目標歸類為小目標。近年來，遙感圖像中的物體檢測收到了廣泛的關注，小目標在遙感圖像中無處不在，檢測遙感圖像中的微小物體對于軍事偵察，海上救援和交通管理等多種應用場景有著極為重要的意義。近年來，隨著深度學習的發(fā)展，許多基于深度學習的檢測模型已經被提出并且在物體檢測方面取得了重要進展。目前，小目標檢測算法主要分為兩階段和單階段的方法：

2、兩階段檢測算法將檢測過程分為兩個部分，第一階段生成候選區(qū)域，第二階段對這些區(qū)域進行分類和定位，通過分別訓練兩個部分，使此類檢測器能夠適應各種目標檢測任務，提供更高的檢測精度和準確性，尤其是在大規(guī)模的目標檢測任務中。常見的兩階段目標檢測算法包括r-cnn系列，faster?r-cnn系列和mask?r-cnn系列等。但是兩階段檢測算法通常包括兩個主要階段，每個階段都需要獨立的計算，導致整體推理時間較長，并且當候選區(qū)域較大時，會占用大量內存，而且由于推理時間較長，兩階段檢測算法通常不適合實時應用場景，如自動駕駛、無人機監(jiān)控等。

3、單階段檢測算法其結構相對簡單，易于實現和部署，它們直接從圖像中預測物體的位置和類別，而不需要先生成候選區(qū)域，憑借端到端的訓練方式以及高實時性的檢測性能，適用于大部分目標檢測任務，尤其是對檢測速度有要求的檢測任務，更是具有很大優(yōu)勢，常見的單階段檢測算法包括yolo系列，ssd，fcos網絡等。但是單階段算法相對于兩階段算法，其在精度上稍遜一籌，尤其是在處理小目標時，容易將背景中的噪聲誤檢為目標，導致單階段檢測器無法精準定位和分類小目標物體。

4、然而，不論是單階段的小目標檢測算法還是兩階段的小目標檢測算法，由于小目標在圖像中的像素面積較小導致其特征信息不足，且小目標位于復雜的環(huán)境背景下，例如城市街道或森林等自然環(huán)境，使得背景中的干擾物可能會被誤認為是目標或者真正的目標被背景遮擋而難以識別。這些因素，往往會導致檢測模型在定位和分類小目標時導致檢測準確率降低，特別是在遙感圖像中。因此，增強小目標的特征表示以及增強小目標與背景的區(qū)分度仍然是一個充滿挑戰(zhàn)的任務。

5、目前，現有的小目標檢測算法可以概括如下：

6、(1)基于多尺度表示學習的小目標檢測算法：多尺度特征融合在計算機視覺，尤其是目標檢測領域已經取得了顯著進展。然而，小目標相較于中、大目標而言，因其占據的像素較少，特征提取較為困難，且隨著網絡層數的增加，其特征和位置信息逐漸丟失，導致難以被有效檢測。雖然多尺度特征融合方法，如fpn，通過結合淺層和深層特征，能夠一定程度上改善目標定位和分類，但這些方法仍存在不足。首先，現有的多尺度融合方法小目標和大目標的特征可能會在某些尺度上混淆，即使是細粒度的尺度，仍然可能收到背景噪聲或大目標的干擾，其次，將不同尺度的特征進行有效融合仍然是一個挑戰(zhàn)，如果融合策略不當，可能導致信息丟失或冗余，并且現有多尺度方法可以捕捉不同尺寸的目標，但在某些情況下，較小的目標可能仍然無法與背景有效區(qū)分，特別是當目標的邊緣模糊或目標本身尺寸過小，信息不足時，算法可能難以準確定位目標。盡管fpn及其改進版本(如ce-fpn、panet、nas-fpn、bifpn和augfpn)在一定程度上改進了多尺度融合，但仍未解決在小目標檢測中，噪聲或者大目標的干擾以及小目標難以與復雜背景區(qū)分的問題，影響了檢測的精度和魯棒性。

7、(2)基于特征增強的小目標檢測算法：特征增強在小目標檢測中的應用旨在通過特定的算法或技術來強化圖像中小目標的特征表示，使得這些目標更容易被檢測器捕捉和識別。該方法的核心思想是通過對原始輸入數據或者中間層特征圖進行處理，提高小目標相對于背景或其他干擾因素的顯著性，并且強調利用上下文信息來幫助分類和定位小目標，從而提升檢測精度。然而，目前一些特征增強的方法仍然存在一定的局限性。一些研究人員提出了專門用于遙感圖像小目標檢測的特征增強模塊，從空間方向和通道方向為特征圖分配權重，使得模型不僅有效抑制了噪聲的影響而且突出了有用的特征，提高目標分類準確性和定位精度。然而，目前的特征增強方法往往會生成大量的增強特征，但這些特征未必全部對小目標檢測有幫助，在某些情況下，冗余的增強特征可能導致信息的過載，甚至使得網絡更難從中提取有用的信號，從而影響檢測精度。其次，某些特征增強方法可能會加強背景噪聲或者不相關的區(qū)域，特別是當增強的過程中沒有充分考慮復雜背景的特性時，可能會引入噪聲干擾小目標的檢測，導致誤檢或漏檢。

8、(3)基于注意力機制的小目標檢測算法：注意力機制在小目標檢測中的應用旨在模擬人類視覺系統(tǒng)的特性，即能夠自動聚焦于圖像中最相關或最重要的部分。這種機制允許模型在處理輸入數據時，動態(tài)地分配不同區(qū)域的權重，從而提高對關鍵信息的關注度，尤其是在復雜背景下檢測小目標的任務中。該方法的核心是為輸入特征圖的不同部分賦予不同的權重，使得網絡更專注于那些對于當前任務最重要的區(qū)域。近年來，為了解決不同尺度的特征圖具有不同的重要性的問題，一些研究人員提出了通過注意力機制來動態(tài)調整不同尺度特征圖的重要性，從而減少特征層中的冗余信息。

9、綜上，現有的小目標檢測算法大多數依賴于級聯的方法，先粗略的提取出特征的重要區(qū)域，然后以此為基礎，指導其更精細化的突出其小目標所在區(qū)域以及周圍有利于小目標的上下文信息。但是，這種方法需要多個階段來逐步精煉檢測結果，并且每個階段的網絡通常需要單獨訓練或者聯合優(yōu)化，由于各級段之間存在依賴關系，很難實現完全的并行處理。此外，目前一些研究方法從小目標的數據不平衡的角度出發(fā)，通過標簽優(yōu)化策略，實現小目標在圖像中的比例與中，大型目標的比例相當，但是這種方法由于小目標尺寸較小，即使是標簽優(yōu)化策略，也有可能無法完全區(qū)分小目標和背景噪聲。由此可知，目前小目標檢測面臨著特征信息不足以及容易被其他物體或背景部分或完全遮擋的問題，尤其是在密集場景中，使得小目標很難與背景分離開來。盡管現有的方法已經從各個方面努力解決上述問題，但大多數方法忽略了高分辨率特征圖的優(yōu)勢以及小目標的特征未能充分的進行表示，使得實現精確的檢測效果變得困難。

技術實現思路

1、本發(fā)明提供了一種基于多尺度特征融合和特征增強的小目標檢測方法，以解決現有的小目標檢測方法難以實現精確的檢測效果的技術問題。

2、為解決上述技術問題，本發(fā)明提供了如下技術方案：

3、一方面，本發(fā)明提供了一種基于多尺度特征融合和特征增強的小目標檢測方法，所述基于多尺度特征融合和特征增強的小目標檢測方法包括：

4、構建基于多尺度特征融合和特征增強的小目標檢測模型；

5、對構建的小目標檢測模型進行訓練；

6、利用訓練好的小目標檢測模型實現小目標檢測。

7、進一步地，所述小目標檢測模型包括：輸入模塊、骨干網絡、特征融合模塊、特征增強模塊、特征重建模塊以及檢測器；

8、其中，所述特征重建模塊只在模型訓練階段使用，在推理階段被丟棄；

9、所述小目標檢測模型實現小目標檢測的流程包括：

10、待檢測圖像經所述輸入模塊輸入所述骨干網絡，經過所述骨干網絡處理，獲取多尺度特征圖，然后，多尺度特征圖被送入所述特征融合模塊，在所述特征融合模塊中，先對多尺度特征圖進行特征優(yōu)化，然后對優(yōu)化后的多尺度特征圖進行從上向下的特征融合，得到特征融合后的特征圖，隨后，特征融合后的特征圖被送入所述特征增強模塊進行處理，通過捕獲小目標的局部細節(jié)信息和像素與像素之間的交互所捕獲的全局信息增強小目標的特征表示，得到特征增強后的特征圖，最后將特征增強后的特征圖送入所述檢測器，實現目標的分類和定位。

11、進一步地，所述特征融合模塊包括通道注意力模塊和空間注意力模塊；

12、所述特征融合模塊首先通過通道注意力模塊對所述骨干網絡輸出的多尺度特征圖進行優(yōu)化，以突出不同尺度特征圖中的重要區(qū)域，然后通過空間注意力模塊對優(yōu)化后的多尺度特征圖進行特征融合，得到特征融合后的特征圖。

13、進一步地，所述通過通道注意力模塊對所述骨干網絡輸出的多尺度特征圖進行優(yōu)化，以突出不同尺度特征圖中的重要區(qū)域，包括：

14、通道注意力模塊首先通過自適應最大池化對所述骨干網絡輸出的多尺度特征圖進行通道處理，然后，將經過池化的特征向量進行融合，并經過sigmoid函數生成最終的通道注意力權重，最后，將原始特征圖與通道注意力權重進行相乘，從而增強對于小目標檢測有用的特征，抑制不相關的特征，最后將原始特征圖與通道注意力權重相乘后獲得的特征進行點卷積，使得每個尺度的特征映射數量為256，得到優(yōu)化后的多尺度特征圖，以突出不同尺度特征圖中的重要區(qū)域。

15、進一步地，所述通過空間注意力模塊對優(yōu)化后的多尺度特征圖進行特征融合，得到特征融合后的特征圖，包括：

16、將通過通道注意力模塊所優(yōu)化的特征圖中的低級特征圖和高級特征圖分別展成序列，以高級特征圖對應的序列作為query，低級特征圖對應的序列作為key和value，將高級特征圖與低級特征圖之間作self-attention，并將self-attention結果變成二維圖像，然后通過上采樣使所述二維圖像的維度與低級特征圖匹配，最后將低級特征圖與上采樣后的二維圖像進行融合，得到特征融合后的特征圖。

17、進一步地，所述特征增強模塊包括全局信息提取模塊、局部信息提取模塊以及倒殘差結構；

18、所述全局信息提取模塊通過進行像素與像素之間的感知與交互，從而捕獲全局信息；所述局部信息提取模塊通過三個普通卷積和三個擴展卷積并行計算完成局部信息提?。黄渲?，三個擴展卷積的擴展率分別為2，4，2；所述局部信息和所述全局信息融合所獲得的特征被送入倒殘差結構中，得到特征增強后的特征圖。

19、進一步地，所述全局信息提取模塊首先將二維圖像以像素為單位進行展開，使其變成空間上連續(xù)的序列，之后，在通道上進行平均操作，然后通過ffn進行線性計算并且利用softmax激活函數得到特征在其空間維度上的概率分布，獲得特征圖上像素與像素之間的權重，最后將其重塑成二維圖像。

20、進一步地，所述特征重建模塊基于掩碼自動編碼器實現特征重建。

21、再一方面，本發(fā)明還提供了一種電子設備，其包括處理器和存儲器；其中，存儲器中存儲有至少一條指令，所述指令由處理器加載并執(zhí)行，以實現上述方法。

22、又一方面，本發(fā)明還提供了一種計算機可讀存儲介質，所述存儲介質中存儲有至少一條指令，所述指令由處理器加載并執(zhí)行，以實現上述方法。

23、本發(fā)明提供的技術方案帶來的有益效果至少包括：

24、1、與其他基于多尺度表示學習的小目標檢測方法比較：本發(fā)明提供的技術方案充分考慮了不同尺度特征圖的重要性，提出了一種漸進且精細化的特征融合策略。該策略首先利用通道注意力模塊對特征圖進行篩選，可以自動學習對于小目標檢測的重要特征。然后，經過自上而下特征融合模塊進行特征融合，有助于模型對復雜場景和周圍環(huán)境的理解能力，不僅減少了多尺度特征融合過程中的冗余信息，而且充分了發(fā)揮了高級特征圖和低級特征圖的優(yōu)勢，有助于解決小目標難以與復雜背景區(qū)分的問題。

25、2、與基于特征增強的小目標檢測方法比較：微小物體往往需要借助周圍環(huán)境信息進行更準確的分類和定位。對此，本發(fā)明技術方案所提出的特征增強方法同時關注于小目標局部細節(jié)信息和全局上下文信息，不僅突出了周圍環(huán)境信息的重要性，也充分發(fā)揮了局部細節(jié)信息的優(yōu)勢，極大的提高了小目標檢測的精度。