本發(fā)明屬于圖像處理，尤其涉及一種內(nèi)耳畸形檢測(cè)方法。

背景技術(shù)：

1、目前，內(nèi)耳畸形檢測(cè)主要依賴于醫(yī)師對(duì)顳骨ct/mri圖像的視覺解讀，這種方式不僅耗時(shí)，而且容易受到醫(yī)師經(jīng)驗(yàn)和主觀判斷的影響。隨著人工智能技術(shù)的發(fā)展，深度學(xué)習(xí)方法在醫(yī)學(xué)影像檢測(cè)與識(shí)別領(lǐng)域展現(xiàn)出巨大潛力。其中，yolo?(you?only?look?once)?系列算法因其優(yōu)異的實(shí)時(shí)性能和檢測(cè)精度，在醫(yī)學(xué)影像分析中得到廣泛應(yīng)用。然而，在實(shí)際應(yīng)用中仍然存在一些關(guān)鍵問題需要解決。

2、傳統(tǒng)的yolov7框架雖然在目標(biāo)檢測(cè)領(lǐng)域表現(xiàn)出色，但在處理內(nèi)耳畸形這類精細(xì)醫(yī)學(xué)圖像時(shí)面臨著幾個(gè)主要挑戰(zhàn)：首先，內(nèi)耳結(jié)構(gòu)精細(xì)復(fù)雜，傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)在處理高分辨率醫(yī)學(xué)圖像時(shí)計(jì)算開銷大，且容易出現(xiàn)過擬合現(xiàn)象；其次，不同類型的內(nèi)耳畸形之間存在細(xì)微差異，這要求模型具有更強(qiáng)的特征提取和分類能力；最后，醫(yī)學(xué)影像數(shù)據(jù)的獲取困難導(dǎo)致訓(xùn)練樣本有限，這限制了深度學(xué)習(xí)模型的性能發(fā)揮。

3、研究界針對(duì)上述問題提出了多種改進(jìn)方案。有研究者嘗試通過優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和引入注意力機(jī)制來提升模型的特征提取能力。還有方法采用遷移學(xué)習(xí)和數(shù)據(jù)增強(qiáng)技術(shù)來緩解樣本不足的問題。然而，這些方法雖然在某些方面取得了改進(jìn)，但往往會(huì)導(dǎo)致計(jì)算復(fù)雜度增加，不利于模型在臨床實(shí)踐中的部署和應(yīng)用。同時(shí)，傳統(tǒng)深度學(xué)習(xí)模型的訓(xùn)練過程需要大量的計(jì)算資源和能源消耗，這與醫(yī)療設(shè)備的節(jié)能環(huán)保要求不相符。

4、受到生物神經(jīng)系統(tǒng)工作機(jī)制的啟發(fā)，脈沖神經(jīng)網(wǎng)絡(luò)（spiking?neural?networks，snn）因其低功耗、高效率的特點(diǎn)，在計(jì)算機(jī)視覺任務(wù)中展現(xiàn)出獨(dú)特優(yōu)勢(shì)。與傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)相比，脈沖神經(jīng)網(wǎng)絡(luò)通過模擬生物神經(jīng)元的脈沖發(fā)放機(jī)制進(jìn)行信息處理和傳遞，具有更強(qiáng)的生物可解釋性和計(jì)算效率。然而，目前將脈沖神經(jīng)網(wǎng)絡(luò)應(yīng)用于醫(yī)學(xué)圖像檢測(cè)與識(shí)別的研究相對(duì)較少，主要原因在于脈沖神經(jīng)網(wǎng)絡(luò)的訓(xùn)練較為困難，并且如何有效結(jié)合yolo框架的優(yōu)勢(shì)仍是一個(gè)待解決的問題。

5、因此，如何將脈沖神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)與yolov7框架有機(jī)結(jié)合，開發(fā)一種既能保證檢測(cè)精度又具備低功耗、高效率特點(diǎn)的內(nèi)耳畸形圖像檢測(cè)與識(shí)別方法，是目前該領(lǐng)域亟待解決的關(guān)鍵科學(xué)問題。這不僅對(duì)提升內(nèi)耳畸形圖像檢測(cè)的準(zhǔn)確性和效率具有重要意義，也將為脈沖神經(jīng)網(wǎng)絡(luò)在其他醫(yī)學(xué)影像分析任務(wù)中的應(yīng)用提供有益參考。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)中的上述不足，本發(fā)明提供的一種內(nèi)耳畸形檢測(cè)方法，解決了現(xiàn)有技術(shù)中存在的檢測(cè)準(zhǔn)確度不足、計(jì)算開銷大以及對(duì)大規(guī)模標(biāo)注數(shù)據(jù)依賴性強(qiáng)等問題。

2、為了達(dá)到以上目的，本發(fā)明采用的技術(shù)方案為：一種內(nèi)耳畸形檢測(cè)方法，包括以下步驟：

3、s1、獲取內(nèi)耳圖像樣本數(shù)據(jù)，對(duì)內(nèi)耳圖像樣本進(jìn)行預(yù)處理，并進(jìn)行分割和標(biāo)注；

4、s2、改進(jìn)yolov7主干網(wǎng)絡(luò)以及融合脈沖神經(jīng)模塊snn，并利用經(jīng)s1處理后的內(nèi)耳圖像樣本數(shù)據(jù)對(duì)改進(jìn)后的yolov7網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到spikeyolo模型；

5、s3、利用spikeyolo模型對(duì)內(nèi)耳圖像樣本數(shù)據(jù)中進(jìn)行分析；

6、s4、判斷分析結(jié)果是否滿足預(yù)設(shè)條件，若是，則進(jìn)入s5，否則，返回s1；

7、s5、利用spikeyolo模型對(duì)待檢測(cè)內(nèi)耳圖像進(jìn)行分析，得到檢測(cè)結(jié)果。

8、本發(fā)明的有益效果是：本發(fā)明通過將具有生物神經(jīng)元特性的脈沖神經(jīng)模塊snn與yolov7框架進(jìn)行深度融合，采用生物啟發(fā)的lif神經(jīng)元模型進(jìn)行時(shí)序信息編碼，并結(jié)合可訓(xùn)練的自適應(yīng)膜電位閾值參數(shù)，實(shí)現(xiàn)了類腦計(jì)算的信息處理機(jī)制；本發(fā)明充分利用了脈沖神經(jīng)模塊snn在低功耗、高效能方面的優(yōu)勢(shì)，解決了傳統(tǒng)方法在計(jì)算量和實(shí)時(shí)性方面的不足。綜上，本發(fā)明旨在提高內(nèi)耳畸形的檢測(cè)準(zhǔn)確性和速度，并解決了傳統(tǒng)方法在計(jì)算量和實(shí)時(shí)性方面的不足。

9、進(jìn)一步地，所述s1包括以下步驟：

10、s101、獲取內(nèi)耳圖像樣本數(shù)據(jù)；

11、s102、對(duì)內(nèi)耳圖像樣本進(jìn)行預(yù)處理，并將經(jīng)預(yù)處理后的內(nèi)耳圖像樣本進(jìn)行標(biāo)準(zhǔn)化和歸一化處理；

12、s103、基于經(jīng)歸一化處理后的內(nèi)耳圖像，對(duì)內(nèi)耳的解剖結(jié)構(gòu)特征以及畸形部位進(jìn)行標(biāo)注；

13、s104、基于經(jīng)標(biāo)注后的內(nèi)耳圖像，生成用于yolov7網(wǎng)絡(luò)訓(xùn)練的目標(biāo)檢測(cè)標(biāo)簽，并按照訓(xùn)練集、驗(yàn)證集和測(cè)試集進(jìn)行劃分，得到預(yù)處理后的訓(xùn)練樣本數(shù)據(jù)，完成分割與標(biāo)注處理。

14、上述進(jìn)一步方案的有益效果是：通過規(guī)范的數(shù)據(jù)預(yù)處理和標(biāo)注流程，為spikeyolo模型提供高質(zhì)量的訓(xùn)練樣本；同時(shí)確保了數(shù)據(jù)的標(biāo)準(zhǔn)化和一致性，有利于模型的訓(xùn)練和收斂，提升了整體檢測(cè)系統(tǒng)的性能和可靠性。

15、再進(jìn)一步地，所述s2包括以下步驟：

16、s201、對(duì)yolov7主干網(wǎng)絡(luò)進(jìn)行改進(jìn)，設(shè)置輕量化的特征金字塔網(wǎng)絡(luò)；

17、s202、設(shè)置并融合脈沖神經(jīng)模塊snn；

18、s203、優(yōu)化損失函數(shù)，并通過梯度反向傳播法對(duì)改進(jìn)后的yolov7網(wǎng)絡(luò)進(jìn)行端到端訓(xùn)練，完成對(duì)yolov7網(wǎng)絡(luò)的改進(jìn)；

19、s204、利用訓(xùn)練集對(duì)改進(jìn)后的yolov7網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并利用驗(yàn)證集進(jìn)行驗(yàn)證，得到spikeyolo模型。

20、上述進(jìn)一步方案的有益效果是：本發(fā)明通過yolov7結(jié)構(gòu)的改進(jìn)和脈沖神經(jīng)模塊snn的融合，構(gòu)建了高效的spikeyolo模型；通過端到端的訓(xùn)練，簡化訓(xùn)練流程，提高訓(xùn)練效率，同時(shí)保證特征提取和時(shí)序處理的協(xié)同優(yōu)化；實(shí)現(xiàn)了傳統(tǒng)cnn和脈沖神經(jīng)模塊ssnn的優(yōu)勢(shì)互補(bǔ)。

21、再進(jìn)一步地，所述s201包括以下步驟：

22、s2011、對(duì)yolov7主干網(wǎng)絡(luò)進(jìn)行輕量化改進(jìn)；

23、s2012、優(yōu)化yolov7網(wǎng)絡(luò)特征提取模塊，保留并簡化多分支堆疊結(jié)構(gòu)multi_concat_block；

24、s2013、改進(jìn)過渡模塊transition_block的連接方式，根據(jù)內(nèi)耳結(jié)構(gòu)特征，調(diào)整感受野大小和特征圖分辨率；

25、s2014、簡化空間金字塔池化跨階段局部網(wǎng)絡(luò)模塊sppcspc結(jié)構(gòu)。

26、上述進(jìn)一步方案的有益效果是：主干網(wǎng)絡(luò)輕量化在保留yolo架構(gòu)核心檢測(cè)能力的前提下，優(yōu)化backbone和neck部分的網(wǎng)絡(luò)結(jié)構(gòu)，降低網(wǎng)絡(luò)復(fù)雜度；特征提取模塊優(yōu)化可以維持特征的多樣性表達(dá)，增強(qiáng)特征的傳遞效果，減少冗余運(yùn)算，提高特征提取效率；簡化空間金字塔池化跨階段局部網(wǎng)絡(luò)模塊sppcspc結(jié)構(gòu)可以保留核心的空間金字塔池化功能，減少計(jì)算開銷，提高特征處理速度。

27、再進(jìn)一步地，所述s2012包括以下步驟：

28、a1、優(yōu)化yolov7網(wǎng)絡(luò)特征提取模塊；

29、a2、保留特征傳遞路徑，將四分支堆疊結(jié)構(gòu)簡化為雙分支堆疊模塊，并對(duì)雙分支堆疊模塊配置一組卷積標(biāo)準(zhǔn)化激活函數(shù)與三組卷積標(biāo)準(zhǔn)化激活函數(shù)；

30、a3、通過1×1卷積操作實(shí)現(xiàn)通道數(shù)壓縮，并引入殘差連接機(jī)制。

31、上述進(jìn)一步方案的有益效果是：通過上述設(shè)計(jì)，yolov7網(wǎng)絡(luò)結(jié)構(gòu)更加簡潔高效，特征傳遞路徑更加清晰，計(jì)算復(fù)雜度顯著降低，模型參數(shù)量得到有效控制

32、再進(jìn)一步地，所述s2014包括以下步驟：

33、b1、重構(gòu)原有的空間金字塔池化結(jié)構(gòu)：將原有1×1、3×3、5×5、7×7、13×13?五級(jí)金字塔池化層簡化為3×3、5×5、7×7三級(jí)金字塔池化層結(jié)構(gòu)，其中，每一金字塔池化層均采用最大池化操作；

34、b2、優(yōu)化特征融合方式：采用加權(quán)求和的形式替代原有的串聯(lián)操作，其中特征融合的表達(dá)式如下：；其中，表示融合后輸出的內(nèi)耳圖像， n表示池化分支數(shù)量，表示權(quán)重系數(shù)，表示第 i個(gè)池化操作，表示輸入的內(nèi)耳圖像。

35、上述進(jìn)一步方案的有益效果是：通過重構(gòu)原有金字塔結(jié)構(gòu)可以簡化池化層級(jí)，減少計(jì)算開銷，保留關(guān)鍵尺度的特征提取能力；通過加權(quán)求和替代串聯(lián)可以減少內(nèi)存占用，同時(shí)簡化特征融合計(jì)算可以提高處理速度。

36、再進(jìn)一步地，所述s202包括以下步驟：

37、c1、構(gòu)建基于lif神經(jīng)元模型的脈沖神經(jīng)元，所述lif神經(jīng)元模型的表達(dá)式如下：；；；其中，表示整合時(shí)間信息和空間信息的膜電位，表示靜息電壓，表示實(shí)際脈沖輸出，表示衰變系數(shù)，表示當(dāng)前膜電壓，表示heaviside階躍函數(shù)；

38、c2、設(shè)置可訓(xùn)練的膜電位閾值參數(shù)；

39、c3、在特征提取層引入脈沖神經(jīng)元替換原yolo網(wǎng)絡(luò)框架中的縮放指數(shù)線性單元silu激活函數(shù)，并設(shè)置時(shí)間域聯(lián)合優(yōu)化策略，以融合脈沖神經(jīng)模塊snn與yolo網(wǎng)絡(luò)框架，其中，時(shí)域優(yōu)化包括動(dòng)態(tài)調(diào)整神經(jīng)元發(fā)放閾值；空域優(yōu)化包括調(diào)整特征圖與和感受野大?。?/p>

40、c4、設(shè)置適應(yīng)性膜電位重置機(jī)制以及引入可分離深度卷積，其中，所述可分離深度卷積的表達(dá)式如下：；其中，表示輸出特征圖在第 n個(gè)輸出通道、位置處的值， h和 w分別表示特征圖的高度和寬度位置， c表示通道數(shù)， c表示通道總數(shù)， i，j表示在卷積操作中的滑動(dòng)窗口位置索引，和分別表示卷積核的高度和寬度，表示輸入特征圖在第 c個(gè)輸入通道、位置的值，表示第 c個(gè)通道的深度卷積核在位置的權(quán)重，表示逐點(diǎn)卷積核在第 n個(gè)輸出通道和第 c個(gè)輸入通道的權(quán)重。

41、上述進(jìn)一步方案的有益效果是：lif神經(jīng)元模塊的構(gòu)建引入生物神經(jīng)元機(jī)制，增強(qiáng)模型的生物啟發(fā)性，整合時(shí)空信息，實(shí)現(xiàn)信息的時(shí)序編碼；設(shè)置可訓(xùn)練閾值參數(shù)可以提升網(wǎng)絡(luò)的適應(yīng)性與靈活性；脈沖神經(jīng)模塊snn的融合通過時(shí)空域聯(lián)合優(yōu)化提升特征提取效果；脈沖神經(jīng)模塊snn優(yōu)化可以減少參數(shù)量并提高信息傳遞的效率，相比標(biāo)準(zhǔn)卷積操作，可分離深度卷積的參數(shù)量從減少到，顯著降低了計(jì)算復(fù)雜度。

42、再進(jìn)一步地，所述s203中的損失函數(shù)的表達(dá)式如下：；；；；；；；其中，表示改進(jìn)后的yolov7網(wǎng)絡(luò)的損失函數(shù)，和表示平衡系數(shù)，表示檢測(cè)損失，表示脈沖損失，表示邊界框回歸損失，表示有目標(biāo)置信度損失，表示無目標(biāo)置信度損失，表示類別預(yù)測(cè)損失，表示時(shí)間步長， t表示時(shí)刻，表示實(shí)際脈沖輸出，表示期望脈沖輸出，表示坐標(biāo)預(yù)測(cè)的權(quán)重系數(shù)，表示l2范數(shù)，表示預(yù)測(cè)邊界框的中心坐標(biāo)，分別表示預(yù)測(cè)邊界框的寬度和高度，表示表示網(wǎng)格單元中存在目標(biāo)，表示預(yù)測(cè)置信度分?jǐn)?shù)，表示目標(biāo)置信度的真實(shí)值，表示無目標(biāo)區(qū)域的權(quán)重系數(shù)，表示只計(jì)算有目標(biāo)的網(wǎng)格單元，表示預(yù)測(cè)的類別概率，表示類別預(yù)測(cè)的真實(shí)概率值，表示真實(shí)的邊界框的中心坐標(biāo)，表示真實(shí)的邊界框的寬度和高度。

43、上述進(jìn)一步方案的有益效果是：該方案結(jié)合了目標(biāo)檢測(cè)任務(wù)和脈沖神經(jīng)網(wǎng)絡(luò)輸出的優(yōu)化，能夠同時(shí)處理空間位置預(yù)測(cè)（邊界框回歸）和類別概率預(yù)測(cè)（目標(biāo)分類），以及脈沖神經(jīng)網(wǎng)絡(luò)中時(shí)間序列的輸出；這種多任務(wù)損失函數(shù)設(shè)計(jì)通過平衡不同任務(wù)的重要性，有助于提升整體性能；采用了多項(xiàng)式損失函數(shù)，確保了模型能夠準(zhǔn)確地定位目標(biāo)的邊界框。和確保模型能正確判斷目標(biāo)框內(nèi)有無物體，正確識(shí)別物體與背景；通過最小化預(yù)測(cè)類別概率與真實(shí)類別概率的差異，有助于提升模型對(duì)于目標(biāo)分類的準(zhǔn)確性；用于優(yōu)化脈沖神經(jīng)網(wǎng)絡(luò)的時(shí)間序列輸出，使得模型的時(shí)序行為更精確。

44、再進(jìn)一步地，所述步驟s204包括以下步驟：

45、設(shè)置目標(biāo)檢測(cè)的閾值參數(shù)，將交并比大于閾值的檢測(cè)框定義為有效目標(biāo)框；

46、在測(cè)試集對(duì)改進(jìn)后的yolov7網(wǎng)絡(luò)訓(xùn)練的過程中，引入非極大值抑制機(jī)制消除重復(fù)檢測(cè)框；

47、構(gòu)建熱力圖可視化模塊，所述熱力圖可視化模塊用于表征spikeyolo模型對(duì)內(nèi)耳圖像不同區(qū)域的關(guān)注度；

48、設(shè)置兩階段檢測(cè)策略，所述兩階段檢測(cè)策略為：對(duì)輸入的內(nèi)耳圖像進(jìn)行內(nèi)耳區(qū)域定位，并在定位區(qū)域進(jìn)行畸形特征分析，將定位結(jié)果與真實(shí)病變位置進(jìn)行對(duì)比，并根據(jù)對(duì)比結(jié)果，通過熱力圖最亮區(qū)域與真實(shí)病變位置的重合度對(duì)spikeyolo模型性能進(jìn)行評(píng)估，完成對(duì)spikeyolo模型的構(gòu)建。

49、上述進(jìn)一步方案的有益效果是：本發(fā)明設(shè)計(jì)了多層次的優(yōu)化策略，包括輕量化的特征金字塔網(wǎng)絡(luò)、簡化的sppcspc模塊結(jié)構(gòu)以及兩階段檢測(cè)策略，同時(shí)引入熱力圖可視化模塊和非極大值抑制機(jī)制，使得模型能夠提供準(zhǔn)確的檢測(cè)結(jié)果（能夠達(dá)到特征提取層，用于采用經(jīng)輕量化改進(jìn)的yolov7主干網(wǎng)絡(luò)>90％，accuracy>90％，precision>90％，recall>90％的效果），有效提升了檢測(cè)的精確度。

50、再進(jìn)一步地，所述spikeyolo模型包括：

51、特征提取層，用于采用經(jīng)輕量化改進(jìn)的yolov7主干網(wǎng)絡(luò)，通過簡化的多分支堆疊結(jié)構(gòu)multi_concat_block和改進(jìn)的過渡模塊transition_block進(jìn)行特征提??；

52、特征-脈沖適配層，用于設(shè)定特征歸一化模塊，將cnn特征映射到[0,1]區(qū)間；構(gòu)建脈沖編碼模塊，采用頻率編碼方式，并設(shè)置固定時(shí)間窗口t；

53、時(shí)序處理層，用于將特征-脈沖適配層處理后的特征作為輸入，利用lif神經(jīng)元模型的脈沖神經(jīng)模塊snn，構(gòu)建多層脈沖神經(jīng)模塊snn結(jié)構(gòu)，保持空間結(jié)構(gòu)信息；

54、特征融合層，用于根據(jù)時(shí)序處理結(jié)果，利用基于簡化的空間金字塔池化跨階段局部網(wǎng)絡(luò)模塊sppcspc結(jié)構(gòu)進(jìn)行多尺度特征融合處理；

55、目標(biāo)檢測(cè)層，用于根據(jù)融合結(jié)果，結(jié)合兩階段檢測(cè)策略和熱力圖機(jī)制對(duì)內(nèi)耳畸形區(qū)域進(jìn)行定位。

56、上述進(jìn)一步方案的有益效果是：spikeyolo模型通過融合yolov7主干網(wǎng)絡(luò)、snn時(shí)序處理、多尺度特征融合、熱力圖機(jī)制和兩階段檢測(cè)策略，在目標(biāo)檢測(cè)任務(wù)中展現(xiàn)出優(yōu)越的性能，其不僅能有效處理空間信息，還能增強(qiáng)對(duì)時(shí)間變化的感知，特別適用于需要同時(shí)考慮空間和時(shí)序信息的任務(wù)，如內(nèi)耳畸形區(qū)域定位等。通過這一創(chuàng)新的設(shè)計(jì)，spikeyolo模型在精度、效率和魯棒性方面表現(xiàn)出了顯著優(yōu)勢(shì)。