本發(fā)明涉及計算機視覺與數(shù)字圖像處理，特別是涉及一種基于跨圖像學習和形狀融合的半監(jiān)督醫(yī)學圖像分割方法。

背景技術(shù)：

1、醫(yī)學圖像分割技術(shù)使醫(yī)生能夠從復雜的醫(yī)學影像中準確區(qū)分出不同的結(jié)構(gòu)和組織，如息肉、肝臟、胰腺等。目前，基于深度學習(deep?learning，dl)的方法已取得顯著進步。然而，基于深度學習的傳統(tǒng)全監(jiān)督分割方法通常依賴于大量的標記數(shù)據(jù)，這在醫(yī)學領(lǐng)域中往往難以實現(xiàn)，因為專家的標注不僅耗時而且成本高昂。因此，降低數(shù)據(jù)的標記成本，即：利用較少的標記數(shù)據(jù)建立高性能的醫(yī)學圖像分割模型，在實際應用中至關(guān)重要。半監(jiān)督學習方法(semi-supervised?learning，ssl)應運而生，通過結(jié)合少量標記數(shù)據(jù)和大量未標記數(shù)據(jù)，能夠有效提高分割算法的性能。這種方法能夠有效利用未標注數(shù)據(jù)中蘊含的信息，并減少對標記數(shù)據(jù)的依賴。這一點在處理特殊或罕見疾病的醫(yī)學圖像時尤為重要，因為這些情況下獲取充足的標記數(shù)據(jù)更為困難。

2、許多半監(jiān)督學習方法主要使用u形網(wǎng)絡(luò)架構(gòu)，然而，由于卷積核的固有特性，傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)(convolutional?neuralnetworks,，cnn)在感受野上存在限制，這限制了它們捕捉器官或組織間長距離和全局空間關(guān)系的能力，進而影響了模型在精細形狀表示上的性能。為了克服這一挑戰(zhàn)，顯式形狀模型被提出以增強模型的形狀表示能力，將形狀先驗作為額外的輸入。但是這些方法僅使用單一視圖，無法充分驗證和校正由單一視圖引入的潛在錯誤信息，這可能導致分割結(jié)果的不準確，相反多視圖則可以改善以上問題，提高模型在不同條件下的穩(wěn)定性和一致性，特別是添加了擾動的情況下。與此同時現(xiàn)有的半監(jiān)督學習方法，主要分為偽標記和一致性正則化。偽標記方法，首先在標記的數(shù)據(jù)集上訓練一個模型，然后使用這個模型對未標記數(shù)據(jù)進行預測，生成偽標簽，這些偽標簽隨后被用來進一步訓練模型。而一致性正則化基于平滑假設(shè)，即位于高密度區(qū)域的兩個相似的數(shù)據(jù)點具有相似的輸出。數(shù)據(jù)點的實際擾動不應該改變模型的輸出。所以大多數(shù)基于一致性正則化的方法通過在訓練過程中添加隨機擾動，包括數(shù)據(jù)級擾動，模型級擾動，任務(wù)級擾動，迫使模型經(jīng)過擾動后依然產(chǎn)生相同的預測結(jié)果。然而現(xiàn)有的方法只單獨處理圖像，最后聚焦于模型對于圖片的預測之間的信息交互，往往忽視了圖像間的信息交互以及圖像特征之間的關(guān)聯(lián)度的重要性。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供一種基于跨圖像學習和形狀融合的半監(jiān)督醫(yī)學圖像分割方法，能夠提高圖像分割準確率。

2、為實現(xiàn)上述目的，本發(fā)明提供了如下方案：

3、基于跨圖像學習和形狀融合的半監(jiān)督醫(yī)學圖像分割方法，包括：

4、對原始醫(yī)學圖像進行預處理，得到預處理數(shù)據(jù)；所述預處理包括格式轉(zhuǎn)換、歸一化以及隨機裁剪；

5、將所述預處理數(shù)據(jù)輸入第一分支網(wǎng)絡(luò)中進行分割預測，通過形狀融合模塊sfm得到形狀先驗數(shù)據(jù)；所述第一分支網(wǎng)絡(luò)包括一個編碼器、兩個解碼器以及一個形狀融合模塊；所述編碼器分別與各所述解碼器連接，且各所述解碼器均與所述形狀融合模塊連接；所述形狀融合模塊包括絕對差分分支和總和增強分支；

6、將所述形狀先驗數(shù)據(jù)與所述預處理數(shù)據(jù)進行拼接，并將拼接圖像輸入第二分支網(wǎng)絡(luò)中進行分割預測，得到特征圖；所述第二分支網(wǎng)絡(luò)包括圖像跨深層特征交互層；所述圖像跨圖像深層特征交互層由連接的兩個mamba塊組成；

7、對所述特征圖進行基于圖像原型的計算，得到跨圖像原型預測結(jié)果，和進行基于熵的不確定性計算，得到可靠性權(quán)重圖，并根據(jù)所述跨圖像原型預測結(jié)果和可靠性權(quán)重圖計算跨圖像一致性損失；

8、基于所述跨圖像一致性損失、交叉熵損失和dice損失計算全過程損失，利用所述全過程損失對所述第一分支網(wǎng)絡(luò)和所述第二分支網(wǎng)絡(luò)進行訓練，并利用訓練好的網(wǎng)絡(luò)模型對待測圖像進行分割。

9、可選地，所述對原始醫(yī)學圖像進行預處理，得到預處理數(shù)據(jù)，具體過程包括：

10、先對所述原始醫(yī)學圖像進行格式轉(zhuǎn)換，將dicom或nifti格式數(shù)據(jù)轉(zhuǎn)換成h5格式數(shù)據(jù)，然后進行數(shù)據(jù)歸一化處理，最后對歸一化數(shù)據(jù)進行隨機裁剪，得到預處理數(shù)據(jù)。

11、可選地，將所述預處理數(shù)據(jù)輸入第一分支網(wǎng)絡(luò)中進行分割預測，通過形狀融合模塊sfm得到形狀先驗數(shù)據(jù)，具體過程包括：

12、對所述預處理數(shù)據(jù)進行編碼后，通過一個解碼器使用最近鄰插值進行上采樣，并通過另一個解碼器使用雙線性插值進行上采樣，得到兩個分割圖；

13、在所述絕對差分分支中將兩所述分割圖依次經(jīng)過三個卷積層和relu激活層，最后進行差分并取絕對值，并將差分絕對值通過兩個bn卷積層，得到絕對差分分支的輸出數(shù)據(jù)；

14、并在所述總和增強分支中將兩所述分割圖依次經(jīng)過三個卷積層和relu激活層，最后進行特征求和，并將求和數(shù)據(jù)通過一個bn卷積層，得到總和增強分支的輸出數(shù)據(jù)；

15、將所述絕對差分分支的輸出數(shù)據(jù)和所述總和增強分支的輸出數(shù)據(jù)通過逐元素相加合并，得到形狀先驗數(shù)據(jù)。

16、可選地，將拼接圖像輸入第二分支網(wǎng)絡(luò)中進行分割預測，得到特征圖，具體過程包括：

17、將所述拼接圖像依次輸入第一個mamba塊和第二個mamba塊，兩個mamba塊結(jié)構(gòu)相同，均包括兩個并行的分支，其中第一個分支先進行通道擴展和投影，然后依次通過一維卷積層、silu激活函數(shù)和ssm層進行處理，得到第一個分支數(shù)據(jù)，第二個分支同樣先進行通道擴展和投影，然后通過silu激活函數(shù)，得到第二個分支數(shù)據(jù)；

18、將所述第一個分支數(shù)據(jù)和所述第二個分支數(shù)據(jù)進行逐元素乘積合并，并將合并后的特征投影回原始醫(yī)學圖像的尺寸，得到最終輸出的特征圖。

19、可選地，所述跨圖像一致性損失，具體為：

20、

21、其中，o代表解碼器的總個數(shù)，wx,y表示像素(x，y)最后的損失權(quán)重；表示第m個解碼器得到的樣本特征圖和原型向量屬于類別的k的余弦相似度，表示第z個解碼器得到的樣本特征圖和原型向量屬于類別的k的余弦相似度，且m≠z。

22、可選地，基于所述跨圖像一致性損失、交叉熵損失和dice損失計算全過程損失，具體過程包括：

23、基于交叉熵損失和dice損失確定形狀損失，根據(jù)所述形狀損失計算監(jiān)督損失，并根據(jù)所述跨圖像一致性損失計算無監(jiān)督損失；

24、基于所述監(jiān)督損失和所述無監(jiān)督損失構(gòu)建全過程損失。

25、可選地，所述形狀損失，具體為：

26、ls＝lce(pshape,y)+ldice(pshape,y).

27、其中，lce表示交叉熵損失；ldice表示dice損失；pshape表示通過sfm輸出形狀先驗數(shù)據(jù)；y表示像素真實標簽是否為設(shè)定類別。

28、可選地，所述監(jiān)督損失，具體為：

29、

30、其中，o代表解碼器的總個數(shù)；lce表示交叉熵損失；表示標記數(shù)據(jù)通過第i個解碼器輸出的分割預測結(jié)果；y表示像素真實標簽是否為設(shè)定類別；ldice表示dice損失；ls表示形狀損失。

31、可選地，所述無監(jiān)督損失，具體為：

32、

33、其中，o代表解碼器的總個數(shù)；lce表示交叉熵損失；ldice表示dice損失；lpccl表示跨圖像一致性損失；表示無標簽數(shù)據(jù)通過第i個解碼器輸出的分割預測結(jié)果，表示無標簽數(shù)據(jù)通過第i個解碼器輸出的分割預測結(jié)果，且i≠j。

34、可選地，所述全過程損失，具體為：

35、ltotal＝lsup+λ(t)·lunsup

36、其中，lsup表示監(jiān)督損失；λ(t)表示高斯預熱函數(shù)；lunsup表示無監(jiān)督損失。

37、根據(jù)本發(fā)明提供的具體實施例，本發(fā)明公開了以下技術(shù)效果：

38、本發(fā)明公開了基于跨圖像學習和形狀融合的半監(jiān)督醫(yī)學圖像分割方法，所述方法包括對原始醫(yī)學圖像進行預處理，并將預處理數(shù)據(jù)輸入第一分支網(wǎng)絡(luò)中進行分割預測，利用形狀融合模塊得到形狀先驗數(shù)據(jù)，將得到的形狀先驗數(shù)據(jù)與預處理數(shù)據(jù)進行拼接，并輸入第二分支網(wǎng)絡(luò)中進行分割預測，得到特征圖；對特征圖進行基于圖像原型的跨圖像預測計算，進而計算跨圖像一致性損失；基于跨圖像一致性損失、交叉熵損失和dice損失計算全過程損失，利用全過程損失對各分支網(wǎng)絡(luò)進行訓練，并利用訓練好的網(wǎng)絡(luò)模型對待測圖像進行分割。本發(fā)明通過強調(diào)圖像間的信息交互和特征之間的關(guān)聯(lián)，有助于增強和突出相關(guān)特征，提高對新、未見圖像的泛化能力，進而提高分割準確率。