本發(fā)明涉及圖像處理與光譜信息處理,特別涉及一種基于光譜距離建模的高通量拉曼高光譜成像方法及系統(tǒng)。
背景技術(shù):
1、拉曼高光譜成像(raman?hyperspectral?imaging,?hsi)是一種結(jié)合拉曼光譜與成像技術(shù)的分析工具,其能夠提供分子振動(dòng)信息及其在空間中的分布,被廣泛應(yīng)用于生物醫(yī)學(xué)、藥物研發(fā)、材料科學(xué)和制藥等領(lǐng)域。相比其他化學(xué)成像方法相比,如熒光成像和傅里葉變換紅外光譜成像,拉曼高光譜成像技術(shù)具有非破壞性分析、樣品制備簡(jiǎn)單、高空間與光譜分辨的優(yōu)勢(shì);但是如何提高拉曼高光譜成像質(zhì)量仍然存在重大挑戰(zhàn);
2、隨著計(jì)算成像算法的研究,基于計(jì)算成像算法提供了一種利用低質(zhì)量或不完整的測(cè)量中重建高信噪比(snr)的拉曼高光譜圖像的方法,例如:
3、傳統(tǒng)降噪算法(如奇異值分解svd):對(duì)低質(zhì)量的拉曼光譜圖像進(jìn)行svd分解,并保存其主要成分信號(hào)。但是此類方法在分離弱拉曼信號(hào)和復(fù)雜背景噪聲方面效果有限;
4、深度學(xué)習(xí)方法:近年來(lái),研究表明深度學(xué)習(xí)方法可以顯著提高成像質(zhì)量,但其依賴于大規(guī)模低信噪比與高信噪比拉曼光譜圖像配對(duì)數(shù)據(jù)集作為訓(xùn)練。而這類數(shù)據(jù)的收集成本高昂甚至不可能實(shí)現(xiàn)。此外,這類方法普遍采用“訓(xùn)練-測(cè)試”框架。首先,訓(xùn)練過(guò)程需要大量的高質(zhì)量數(shù)據(jù),且訓(xùn)練過(guò)程復(fù)雜耗時(shí)。此外,儀器依賴性強(qiáng),不同設(shè)備采集的數(shù)據(jù)特性差別較大,模型需要預(yù)先針對(duì)特定設(shè)備或數(shù)據(jù)訓(xùn)練后才能應(yīng)用。而現(xiàn)有算法的泛化能力有限,無(wú)法處理不同拉曼儀器采集的光譜數(shù)據(jù)。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明提供了一種基于光譜距離建模的高通量拉曼高光譜成像方法及系統(tǒng),以解決背景技術(shù)所提到的技術(shù)問(wèn)題。
2、為達(dá)到上述目的,本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的:
3、本發(fā)明提供了一種基于光譜距離建模的高通量拉曼高光譜成像方法,包括如下步驟:
4、s1、將獲取的初始拉曼高光譜圖像表示為優(yōu)化后的拉曼高光譜圖像與噪聲的疊加,得到拉曼高光譜成像數(shù)學(xué)模型,然后依據(jù)拉曼高光譜成像數(shù)學(xué)模型構(gòu)建優(yōu)化問(wèn)題;
5、s2、引入輔助變量對(duì)優(yōu)化問(wèn)題進(jìn)行轉(zhuǎn)化,得到轉(zhuǎn)化的優(yōu)化問(wèn)題,然后依據(jù)轉(zhuǎn)化的優(yōu)化問(wèn)題構(gòu)建拉格朗日函數(shù);
6、s3、依據(jù)拉格朗日函數(shù)構(gòu)建多個(gè)子問(wèn)題,并通過(guò)迭代優(yōu)化對(duì)多個(gè)子問(wèn)題進(jìn)行求解,直至滿足預(yù)設(shè)條件,結(jié)束迭代優(yōu)化,從而得到優(yōu)化后拉曼高光譜圖像。
7、進(jìn)一步地,所述s1具體包括如下步驟:
8、s11、將獲取的初始拉曼高光譜圖像表示為優(yōu)化后的拉曼高光譜圖像與噪聲的疊加,得到拉曼高光譜成像數(shù)學(xué)模型,拉曼高光譜成像數(shù)學(xué)模型具體為:
9、;
10、s12、然后以求解優(yōu)化后的拉曼高光譜圖像為目標(biāo)并依據(jù)拉曼高光譜成像數(shù)學(xué)模型構(gòu)建優(yōu)化問(wèn)題,優(yōu)化問(wèn)題具體如下:
11、;
12、其中,分別表示待求解的優(yōu)化后的拉曼高光譜圖像與待求解的噪聲,表示frobenius范數(shù);表示l1范數(shù);是正則化項(xiàng),即對(duì)數(shù)據(jù)的先驗(yàn)信息約束;、分別為兩個(gè)不同的平衡系數(shù)。
13、進(jìn)一步地,所述s2具體包括如下步驟:
14、s21、引入輔助變量對(duì)s1中的優(yōu)化問(wèn)題進(jìn)行轉(zhuǎn)化,其中,得到轉(zhuǎn)化的優(yōu)化問(wèn)題,轉(zhuǎn)化的優(yōu)化問(wèn)題具體如下:
15、;
16、其中,表示待求解的輔助變量;
17、s22、依據(jù)轉(zhuǎn)化的優(yōu)化問(wèn)題構(gòu)建構(gòu)造拉格朗日函數(shù),構(gòu)造拉格朗日函數(shù)具體為:
18、;
19、其中,表示關(guān)于,,,的拉格朗日函數(shù),是拉格朗日乘子,是平衡因子。
20、進(jìn)一步地,所述s3具體包括如下步驟:
21、s31、依據(jù)拉格朗日函數(shù)構(gòu)建多個(gè)子問(wèn)題,多個(gè)子問(wèn)題分別是子問(wèn)題、子問(wèn)題、子問(wèn)題以及子問(wèn)題;
22、s32、依次對(duì)子問(wèn)題、子問(wèn)題、子問(wèn)題以及子問(wèn)題進(jìn)行多次迭代求解;
23、s33、檢查以下收斂條件是否滿足,或者是否達(dá)到預(yù)設(shè)的最大迭代次數(shù),如果是,則停止迭代,從而得到優(yōu)化后拉曼高光譜圖像;
24、其中,收斂條件具體如下:
25、;
26、其中,第次迭代得到的輔助變量;表示范數(shù);表示給定的一個(gè)極小常數(shù)。
27、進(jìn)一步地,所述子問(wèn)題采用數(shù)學(xué)式表示具體如下:
28、;
29、其中,表示第次迭代得到的拉曼高光譜圖像;表示第次迭代得到的噪聲;表示第次迭代得到的輔助變量;表示第次迭代得到的拉格朗日乘子;
30、所述子問(wèn)題具體如下:
31、;
32、其中,表示第次迭代得到的輔助變量;
33、所述子問(wèn)題具體如下:
34、;
35、其中,表示第次迭代得到的噪聲;
36、所述子問(wèn)題具體如下:
37、;
38、其中,表示第次迭代得到的拉格朗日乘子。
39、進(jìn)一步地,所述s32具體包括如下步驟:
40、s321、依次對(duì)子問(wèn)題、子問(wèn)題、子問(wèn)題以及子問(wèn)題進(jìn)行多次求解更新;
41、s322、第次迭代后,得到、以及;
42、s323、對(duì)子問(wèn)題進(jìn)行第次迭代,將、、以及輸入到子問(wèn)題中,得到第次迭代子問(wèn)題的解為:
43、;
44、其中,是單位矩陣,是縮放的單位矩陣;
45、s324、將子問(wèn)題進(jìn)行第次迭代,將和作為輸入,最終得到子問(wèn)題第次迭代的解,即;
46、s325、將作為輸入,并通過(guò)目標(biāo)函數(shù)二更新噪聲變量;目標(biāo)函數(shù)二具體如下:
47、;
48、s326、將、以及作為輸入,并通過(guò)增廣拉格朗日法中的對(duì)偶上升方法更新拉格朗日乘子,得到第次迭代后的拉格朗日乘子;第次迭代后的拉格朗日乘子的求解式具體如下:
49、。
50、進(jìn)一步地,所述s324具體包括如下步驟:
51、s3241、在第次迭代中,將分解為先驗(yàn)圖像pi和最優(yōu)光譜距離osd;
52、s3242、對(duì)先驗(yàn)圖像pi進(jìn)行初始化,得到初始化后的先驗(yàn)圖像,然后利用先驗(yàn)圖像對(duì)最優(yōu)光譜距離osd分別進(jìn)行初始化,得到初始化后的光譜距離;
53、初始化后的先驗(yàn)圖像采用公式表示,具體如下:
54、;
55、其中,b表示光譜波段數(shù),表示初始化的變量即第次迭代第一輪訓(xùn)練的變量,表示第b個(gè)波段的全部值,表示第b個(gè)波段;
56、初始化后的光譜距離采用公式表示,具體如下:
57、;
58、s3243、利用預(yù)定義的目標(biāo)函數(shù)二、正則化項(xiàng)、初始化后的光譜距離對(duì)無(wú)監(jiān)督神經(jīng)網(wǎng)絡(luò)unn的權(quán)重參數(shù)進(jìn)行多輪訓(xùn)練更新,得到更新后的無(wú)監(jiān)督神經(jīng)網(wǎng)絡(luò)unn;其中目標(biāo)函數(shù)二具體如下:
59、;
60、其中,為第次迭代中第t輪訓(xùn)練的網(wǎng)絡(luò)參數(shù);為第次迭代中第t輪訓(xùn)練的光譜距離;為第次迭代中第t輪訓(xùn)練的先驗(yàn)圖像;
61、正則化項(xiàng)具體如下:
62、;
63、其中,為觀測(cè)值一致性約束,即最小化生成圖像與初始拉曼高光譜圖像的l1距離;為光譜-空間平滑性約束;是光譜-空間平滑性的平衡因子;
64、s3244、將第次迭代中第t輪訓(xùn)練的光譜距離輸入到更新后的無(wú)監(jiān)督神經(jīng)網(wǎng)絡(luò)unn中,得到優(yōu)化后光譜距離,采用公式表示具體如下:
65、;
66、s3245、計(jì)算當(dāng)前重建圖像的所有波段的均值作為優(yōu)化后的先驗(yàn)圖像;采用公式表示具體如下:
67、;
68、s3246、然后將優(yōu)化后光譜距離和優(yōu)化后的先驗(yàn)圖像相加,得到重建圖像,或稱為第次迭代的輔助變量。
69、進(jìn)一步地,所述無(wú)監(jiān)督神經(jīng)網(wǎng)絡(luò)unn包括編碼器和與編碼器連接的解碼器;
70、其中編碼器包括三個(gè)依次連接的且相同的子模塊一,其中子模塊一包括依次連接的卷積層一、激活函數(shù)層一、sdtrans模塊以及激活函數(shù)層二;
71、解碼器包括三個(gè)依次連接且相同的子模塊二,其中子模塊二包括依次連接的上采樣層、卷積層二、激活函數(shù)層三、sdtrans模塊以及激活函數(shù)層四,編碼器三個(gè)子模塊一的輸入均通過(guò)拼接操作以及倒序的連接方式分別與解碼器三個(gè)子模塊二內(nèi)上采樣層的輸出連接。
72、進(jìn)一步地,所述sdtrans模塊包括transformer模塊以及與transformer模塊連接的注意力機(jī)制;
73、其中,注意力機(jī)制用于對(duì)transformer模塊的輸出分別進(jìn)行池化操作、矩陣乘法、按行取平均值,從而得到每個(gè)波段的權(quán)重。
74、本發(fā)明另一方面還提供了一種高通量拉曼高光譜成像系統(tǒng),包括計(jì)算機(jī)設(shè)備,計(jì)算機(jī)設(shè)備被編程或配置以執(zhí)行以上高通量拉曼高光譜成像方法。
75、本發(fā)明的有益效果:
76、1、本發(fā)明公開了一種基于光譜距離建模的高通量拉曼高光譜成像方法,結(jié)合迭代優(yōu)化框架,實(shí)現(xiàn)了高效的低信噪比圖像重建。同時(shí)利用光譜與空間的長(zhǎng)程相關(guān)性設(shè)計(jì)了無(wú)監(jiān)督神經(jīng)網(wǎng)絡(luò),顯著提升了成像質(zhì)量,且不依賴大規(guī)模訓(xùn)練數(shù)據(jù),適應(yīng)性強(qiáng),減少了對(duì)設(shè)備的依賴。
77、2、本發(fā)明通過(guò)預(yù)測(cè)光譜距離而非直接重建完整光譜,顯著降低了計(jì)算復(fù)雜度。本發(fā)明在優(yōu)化過(guò)程中減少了計(jì)算量,使得圖像重建過(guò)程更加高效,尤其在計(jì)算資源有限的情況下表現(xiàn)突出。
78、3、本發(fā)明不依賴于大規(guī)模的訓(xùn)練數(shù)據(jù)集,因此在低信噪比條件下也能夠有效地進(jìn)行高質(zhì)量的圖像重建。這使得本發(fā)明在數(shù)據(jù)獲取困難的實(shí)際應(yīng)用場(chǎng)景中尤為重要,能夠避免對(duì)海量標(biāo)注數(shù)據(jù)的依賴。
79、4、本發(fā)明利用光譜與空間的長(zhǎng)程相關(guān)性,優(yōu)化了圖像重建的過(guò)程,從而顯著提高了圖像的信噪比和成像質(zhì)量。這種關(guān)聯(lián)性能幫助模型更好地捕捉到潛在的圖像信息,減少了噪聲干擾,能提供更為清晰的重建圖像。
80、5、本發(fā)明通用性和適應(yīng)性高,能夠應(yīng)用于多種復(fù)雜的成像場(chǎng)景,如高精度醫(yī)學(xué)成像、工業(yè)檢測(cè)等,具有更廣泛的應(yīng)用潛力。
81、6、本發(fā)明不僅能夠加速成像過(guò)程,顯著提升工作效率,還擴(kuò)展了拉曼高光譜成像(hsi)在動(dòng)態(tài)樣品檢測(cè)和資源受限環(huán)境下的適用性。尤其在需要快速成像的場(chǎng)景中,本發(fā)明能夠有效提供實(shí)時(shí)仿真結(jié)果和測(cè)試數(shù)據(jù),具有重要的學(xué)術(shù)價(jià)值和廣泛的應(yīng)用前景。