本發(fā)明涉及圖像處理，更具體地，涉及一種亮度感知的多模態(tài)智能偵察裝備圖像融合系統(tǒng)。
背景技術(shù)：
1、智能偵察裝備是一種先進(jìn)的機(jī)載偵察設(shè)備，廣泛應(yīng)用于軍事和民用領(lǐng)域的固定翼飛機(jī)和旋翼機(jī)上。它們主要用于對地面或海面目標(biāo)進(jìn)行遠(yuǎn)程偵察和監(jiān)視。這些吊艙集成了多種光電傳感器，包括但不限于紅外線熱成像儀、激光測距儀、電視攝像機(jī)和低光夜視儀，能夠提供晝夜偵察能力。這些傳感器各自具有獨(dú)特的優(yōu)勢，如紅外熱像儀能夠在低照度條件下探測目標(biāo)，而低光夜視儀則能夠提供較高的空間分辨率。然而，由于傳感器的成像原理和性能限制，單一傳感器難以提供全面的目標(biāo)信息。例如，紅外圖像雖然能夠突出顯示熱源目標(biāo)，但往往缺乏足夠的紋理細(xì)節(jié)；而可見光圖像雖紋理細(xì)節(jié)豐富，但在夜間或光照條件不佳時(shí)難以捕捉目標(biāo)。
2、現(xiàn)有的圖像處理技術(shù)在處理來自不同傳感器的圖像時(shí)，常常面臨分辨率不一致、信息互補(bǔ)性不強(qiáng)、融合算法適應(yīng)性差等問題。特別是在動態(tài)變化的偵察環(huán)境中，如何快速、準(zhǔn)確地融合多源圖像，生成可供分析的高質(zhì)量圖像，是現(xiàn)有技術(shù)面臨的主要挑戰(zhàn)。同時(shí)，光照條件對于圖像的質(zhì)量和信息含量有顯著影響。在智能偵察裝備的應(yīng)用場景中，目標(biāo)的光照條件可能迅速變化，這就要求圖像融合算法能夠適應(yīng)不同的光照環(huán)境。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明為克服上述現(xiàn)有技術(shù)所述的圖像融合算法難以適應(yīng)不同的光照環(huán)境的缺陷，提供一種亮度感知的多模態(tài)智能偵察裝備圖像融合系統(tǒng)。
2、為解決上述技術(shù)問題，本發(fā)明的技術(shù)方案如下：
3、一種亮度感知的多模態(tài)智能偵察裝備圖像融合系統(tǒng)，包括：
4、圖像采集模塊，用于采集同一場景且同一時(shí)間點(diǎn)下的紅外圖像和可見光圖像；
5、照明評估模塊，用于利用照明感知網(wǎng)絡(luò)評估所述紅外圖像和可見光圖像的亮度條件，得到照明概率，并基于照明概率計(jì)算紅外圖像和可見光圖像的融合權(quán)重；
6、特征提取模塊，其上包括若干卷積層，用于提取所述紅外圖像和可見光圖像的特征圖；
7、特征融合模塊，用于根據(jù)所述融合權(quán)重對所述特征提取模塊中各層輸出的特征圖進(jìn)行互補(bǔ)信息交互融合，生成融合特征并輸入下一層特征提取模塊中；以及，用于將所述特征提取模塊中最后一層輸出的特征圖進(jìn)行融合，生成融合特征；
8、圖像融合模塊，用于根據(jù)所述融合特征進(jìn)行特征重構(gòu)，并將重構(gòu)的特征圖轉(zhuǎn)換為圖像域，生成融合圖像。
9、進(jìn)一步地，本發(fā)明還提出了一種亮度感知的多模態(tài)智能偵察裝備圖像融合方法，應(yīng)用于本發(fā)明提出的亮度感知的多模態(tài)智能偵察裝備圖像融合系統(tǒng)中。其中，包括以下步驟：
10、采集同一場景且同一時(shí)間點(diǎn)下的紅外圖像和可見光圖像；
11、利用照明感知網(wǎng)絡(luò)評估所述紅外圖像和可見光圖像的亮度條件，得到照明概率，并基于照明概率計(jì)算紅外圖像和可見光圖像的融合權(quán)重；
12、利用卷積層對所述紅外圖像和可見光圖像進(jìn)行特征提取，同時(shí)，根據(jù)所述融合權(quán)重對各卷積層輸出的特征圖進(jìn)行互補(bǔ)信息交互融合，生成融合特征并輸入下一卷積層中；
13、將所述特征提取模塊中最后一層輸出的特征圖進(jìn)行融合，生成融合特征；
14、根據(jù)所述融合特征進(jìn)行特征重構(gòu)，并將重構(gòu)的特征圖轉(zhuǎn)換為圖像域，生成融合圖像。
15、進(jìn)一步地，本發(fā)明還提出了一種存儲介質(zhì)，其上存儲有計(jì)算機(jī)可讀指令，其中，所述計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本發(fā)明提出的多模態(tài)智能偵察裝備圖像融合方法的全部或部分步驟。
16、與現(xiàn)有技術(shù)相比，本發(fā)明技術(shù)方案的有益效果是：
17、本發(fā)明利用照明感知網(wǎng)絡(luò)評估所述紅外圖像和可見光圖像的亮度條件，并根據(jù)亮度條件對圖像融合策略進(jìn)行調(diào)整；以及，通過特征提取和特征融合以自適應(yīng)地融合來自不同傳感器的圖像信息，生成清晰、內(nèi)容豐富的合成圖像，有效提升了智能偵察裝備在復(fù)雜環(huán)境中的目標(biāo)偵察能力；
18、本發(fā)明實(shí)現(xiàn)無論在強(qiáng)光、弱光還是混合光照條件下，都能保證圖像融合的質(zhì)量，使系統(tǒng)能夠在各種復(fù)雜環(huán)境下穩(wěn)定工作，包括極端天氣條件和不同的地理環(huán)境，為野外作業(yè)提供了強(qiáng)有力的技術(shù)支持。
1.一種亮度感知的多模態(tài)智能偵察裝備圖像融合系統(tǒng)，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的亮度感知的多模態(tài)智能偵察裝備圖像融合系統(tǒng)，其特征在于，所述圖像采集模塊包括：
3.根據(jù)權(quán)利要求2所述的亮度感知的多模態(tài)智能偵察裝備圖像融合系統(tǒng)，其特征在于，所述圖像采集模塊還包括預(yù)處理單元，用于對采集的紅外圖像和可見光圖像進(jìn)行預(yù)處理，包括去噪和增強(qiáng)操作。
4.根據(jù)權(quán)利要求1所述的亮度感知的多模態(tài)智能偵察裝備圖像融合系統(tǒng)，其特征在于，所述照明評估模塊包括：
5.根據(jù)權(quán)利要求1所述的亮度感知的多模態(tài)智能偵察裝備圖像融合系統(tǒng)，其特征在于，所述特征提取模塊由多個(gè)卷積層和mamba架構(gòu)層組成；其中，所述卷積層用于提取圖像的不同層次的特征；所述mamba架構(gòu)層用于在特征圖的不同通道間建立聯(lián)系；其表達(dá)式為：
6.根據(jù)權(quán)利要求5所述的亮度感知的多模態(tài)智能偵察裝備圖像融合系統(tǒng)，其特征在于，所述特征融合模塊在根據(jù)所述紅外圖像和可見光圖像的融合權(quán)重對提取的特征圖進(jìn)行互補(bǔ)信息交互融合時(shí)，執(zhí)行以下步驟：
7.根據(jù)權(quán)利要求6所述的亮度感知的多模態(tài)智能偵察裝備圖像融合系統(tǒng)，其特征在于，所述特征融合模塊執(zhí)行將所述特征提取模塊中最后一層輸出的特征圖進(jìn)行融合時(shí)，包括以下步驟：
8.根據(jù)權(quán)利要求1～7任一項(xiàng)所述的亮度感知的多模態(tài)智能偵察裝備圖像融合系統(tǒng)，其特征在于，所述圖像融合模塊在根據(jù)所述融合特征進(jìn)行特征重構(gòu)時(shí)，執(zhí)行以下步驟：
9.一種亮度感知的多模態(tài)智能偵察裝備圖像融合方法，應(yīng)用于權(quán)利要求1～8任一項(xiàng)所述的亮度感知的多模態(tài)智能偵察裝備圖像融合系統(tǒng)，其特征在于，包括以下步驟：
10.一種存儲介質(zhì)，其上存儲有計(jì)算機(jī)可讀指令，其特征在于，所述計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求9所述的多模態(tài)智能偵察裝備圖像融合方法的全部或部分步驟。