本技術(shù)涉及計算機(jī)，特別涉及一種基于網(wǎng)絡(luò)結(jié)構(gòu)和量化位寬和加速器架構(gòu)的聯(lián)合搜索方法和裝置。

背景技術(shù)：

1、基于深度學(xué)習(xí)（dnn）的模型在分類、目標(biāo)檢測到分割等領(lǐng)域都有廣泛應(yīng)用，但這些深度模型的參數(shù)規(guī)模也帶來難題，影響其部署效率和推理速度。為了提高推理速度，出現(xiàn)了諸如混合精度量化之類的硬件友好算法，這些算法根據(jù)各層的權(quán)重和激活的敏感性將它們轉(zhuǎn)換為較低精度；另一種提升dnn推理速度的方法涉及設(shè)計專門的加速器，這些加速器具有許多并行的乘累加（mac）單元，能促進(jìn)了dnn中輸出通道維度的并行計算。

2、然而，單獨優(yōu)化dnn結(jié)構(gòu)或加速器架構(gòu)將無法達(dá)到最佳性能，在理想情況下，加速器的設(shè)計應(yīng)考慮dnn的具體需求，例如，算子的結(jié)構(gòu)（包括通道深度和卷積核大?。?；同時，dnn的設(shè)計應(yīng)考慮加速器架構(gòu)的特點，例如，寄存器大小或編譯器映射策略。因此，dnn結(jié)構(gòu)和加速器架構(gòu)的共同優(yōu)化已廣受認(rèn)可。

3、相關(guān)技術(shù)中，側(cè)重于考慮單獨加速器的搜索或者網(wǎng)絡(luò)結(jié)構(gòu)和加速器架構(gòu)的聯(lián)合搜索，即使將量化搜索加入其中也只探索無挑戰(zhàn)性的?4?bit位寬精度。由于參數(shù)耦合和誤差搜索問題，現(xiàn)有采用超低位寬（例如，2?bit）會導(dǎo)致不可接受的性能下降。

技術(shù)實現(xiàn)思路

1、鑒于上述問題，本技術(shù)實施例提供了一種基于網(wǎng)絡(luò)結(jié)構(gòu)和量化位寬和加速器架構(gòu)的聯(lián)合搜索方法和裝置，以便克服上述問題或者至少部分地解決上述問題。

2、本技術(shù)實施例的第一方面，公開了一種基于網(wǎng)絡(luò)結(jié)構(gòu)和量化位寬和加速器架構(gòu)的聯(lián)合搜索方法，所述方法包括：

3、構(gòu)建搜索空間，所述搜索空間包括用于搜索各層網(wǎng)絡(luò)的算子和量化位寬的第一空間、用于搜索加速器參數(shù)的第二空間、以及用于搜索編譯映射策略的第三空間，所述編譯映射策略用于將所述算子映射到多個維度，所述多個維度包括輸入通道、輸出通道、輸出寬度和輸出高度；

4、根據(jù)所述搜索空間進(jìn)行聯(lián)合搜索，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)、所述目標(biāo)神經(jīng)網(wǎng)絡(luò)的各個目標(biāo)算子對應(yīng)的目標(biāo)編譯映射策略、以及目標(biāo)加速器參數(shù)，所述目標(biāo)算子包括按照目標(biāo)量化位寬量化的激活通道和未量化的激活通道；

5、根據(jù)所述目標(biāo)神經(jīng)網(wǎng)絡(luò)、所述目標(biāo)編譯映射策略和所述目標(biāo)加速器參數(shù)，確定目標(biāo)損失值，并在所述目標(biāo)損失值小于損失閾值的情況下，結(jié)束聯(lián)合搜索，得到最終的目標(biāo)神經(jīng)網(wǎng)絡(luò)、最終的目標(biāo)編譯映射策略、以及最終的目標(biāo)加速器參數(shù)。

6、可選地，所述第一空間包括不同網(wǎng)絡(luò)層的多個候選算子，以及每個候選算子的多個候選量化位寬，所述第二空間包括多個候選加速器參數(shù)，所述第三空間包括多個候選編譯映射策略；

7、根據(jù)所述搜索空間進(jìn)行聯(lián)合搜索，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)、所述目標(biāo)神經(jīng)網(wǎng)絡(luò)的各個目標(biāo)算子對應(yīng)的目標(biāo)編譯映射策略、以及目標(biāo)加速器參數(shù)，包括：

8、從所述多個候選算子中確定出所述目標(biāo)算子，以及，從所述目標(biāo)算子對應(yīng)的所述多個候選量化位寬中確定出所述目標(biāo)量化位寬；

9、根據(jù)所述目標(biāo)量化位寬對所述目標(biāo)算子進(jìn)行通道稀疏量化，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)，所述通道稀疏量化表征對所述目標(biāo)算子的部分通道進(jìn)行量化；

10、根據(jù)所述目標(biāo)算子，從所述多個候選加速器參數(shù)中確定出所述目標(biāo)加速器參數(shù)，以及從所述多個候選編譯映射策略中確定所述目標(biāo)編譯映射策略。

11、可選地，根據(jù)所述目標(biāo)量化位寬對所述目標(biāo)算子進(jìn)行通道稀疏量化，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)，包括：

12、根據(jù)所述目標(biāo)量化位寬，對所述目標(biāo)算子的各個權(quán)重進(jìn)行量化，得到量化權(quán)重；

13、根據(jù)所述目標(biāo)量化位寬對所述目標(biāo)算子的各個激活的目標(biāo)通道進(jìn)行量化，得到通道稀疏量化的激活，所述目標(biāo)通道為所述激活中重要性高的通道；

14、根據(jù)所述通道稀疏量化的激活和所述量化權(quán)重，得到所述目標(biāo)神經(jīng)網(wǎng)絡(luò)。

15、可選地，所述方法還包括：

16、將所述目標(biāo)算子中批歸一化的比例因子，作為激活各個通道的重要性指標(biāo)；

17、根據(jù)各個通道的重要性指標(biāo)，將重要性高的前比例閾值的通道作為所述目標(biāo)通道。

18、可選地，所述方法還包括：

19、對所述多個候選算子進(jìn)行編碼，得到多個算子編碼向量；

20、對所述多個候選加速器參數(shù)進(jìn)行編碼，得到多個加速器參數(shù)編碼向量；

21、對所述多個候選編譯映射策略進(jìn)行編碼，得到多個編譯映射策略編碼向量；

22、將每個算子編碼向量、每個加速器參數(shù)編碼向量、每個候選編譯映射策略編碼向量進(jìn)行拼接，得到多個運(yùn)算符-加速器參數(shù)-編譯映射對，每個運(yùn)算符-加速器參數(shù)-編譯映射對包括：一個算子編碼向量、一個加速器參數(shù)編碼向量和編譯映射策略編碼向量；

23、根據(jù)所述目標(biāo)算子，從所述多個候選加速器參數(shù)中確定出所述目標(biāo)加速器參數(shù)，以及從所述多個候選編譯映射策略中確定所述目標(biāo)編譯映射策略，包括：

24、根據(jù)所述目標(biāo)算子，從所述多個運(yùn)算符-加速器參數(shù)-編譯映射對中，選擇出目標(biāo)運(yùn)算符-加速器參數(shù)-編譯映射對，所述目標(biāo)運(yùn)算符-加速器參數(shù)-編譯映射對中的算子編碼向量表征所述目標(biāo)加速器參數(shù)，所述目標(biāo)運(yùn)算符-加速器參數(shù)-編譯映射對中的加速器參數(shù)編碼向量表征所述目標(biāo)編譯映射策略。

25、可選地，根據(jù)所述目標(biāo)神經(jīng)網(wǎng)絡(luò)、所述目標(biāo)編譯映射策略和所述目標(biāo)加速器參數(shù)，確定目標(biāo)損失值，包括：

26、根據(jù)所述第一空間中各層網(wǎng)絡(luò)的算子的權(quán)重、所述目標(biāo)神經(jīng)網(wǎng)絡(luò)的各個目標(biāo)算子、以及每個目標(biāo)算子對應(yīng)的目標(biāo)量化位寬，確定網(wǎng)絡(luò)損失值；

27、根據(jù)所述目標(biāo)加速器參數(shù)對應(yīng)的加速器架構(gòu)、所述目標(biāo)算子、以及每個目標(biāo)算子對應(yīng)的目標(biāo)量化位寬，確定硬件指標(biāo)值，所述硬件指標(biāo)值包括能耗值、延遲值和加速器面積；

28、根據(jù)所述網(wǎng)絡(luò)損失值和所述硬件指標(biāo)值，得到所述目標(biāo)損失值。

29、可選地，所述最終的目標(biāo)神經(jīng)網(wǎng)絡(luò)按照以下方式得到：

30、在所述目標(biāo)損失值小于損失閾值的情況下，得到最終的目標(biāo)算子、最終的目標(biāo)量化位寬；

31、根據(jù)所述最終的目標(biāo)算子，對所述最終的目標(biāo)算子的權(quán)重和激活進(jìn)行量化，得到所述最終的目標(biāo)神經(jīng)網(wǎng)絡(luò)。

32、本技術(shù)實施例的第二方面，公開了一種圖像處理方法，所述方法包括：

33、獲取待處理圖像；

34、將所述待處理圖像輸入目標(biāo)神經(jīng)網(wǎng)絡(luò)，通過目標(biāo)加速器參數(shù)對應(yīng)的加速器，使所述目標(biāo)神經(jīng)網(wǎng)絡(luò)按照目標(biāo)編譯映射策略對所述待處理圖像進(jìn)行處理，得到目標(biāo)處理結(jié)果；

35、其中，所述目標(biāo)神經(jīng)網(wǎng)絡(luò)、所述目標(biāo)編譯映射策略、所述目標(biāo)加速器參數(shù)，分別是按照上述本技術(shù)實施例的第一方面所述的基于網(wǎng)絡(luò)結(jié)構(gòu)和量化位寬和加速器架構(gòu)的聯(lián)合搜索方法，所得到的最終的目標(biāo)神經(jīng)網(wǎng)絡(luò)、最終的目標(biāo)編譯映射策略、以及最終的目標(biāo)加速器參數(shù)。

36、本技術(shù)實施例的第三方面，公開了一種基于網(wǎng)絡(luò)結(jié)構(gòu)和量化位寬和加速器架構(gòu)的聯(lián)合搜索裝置，所述裝置包括：

37、構(gòu)建模塊，用于構(gòu)建搜索空間，所述搜索空間包括用于搜索各層網(wǎng)絡(luò)的算子和量化位寬的第一空間、用于搜索加速器參數(shù)的第二空間、以及用于搜索編譯映射策略的第三空間，所述編譯映射策略用于將所述算子映射到多個維度，所述多個維度包括輸入通道、輸出通道、輸出寬度和輸出高度；

38、搜索模塊，用于根據(jù)所述搜索空間進(jìn)行聯(lián)合搜索，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)、所述目標(biāo)神經(jīng)網(wǎng)絡(luò)的各個目標(biāo)算子對應(yīng)的目標(biāo)編譯映射策略、以及目標(biāo)加速器參數(shù)，所述目標(biāo)算子包括按照目標(biāo)量化位寬量化的激活通道和未量化的激活通道；

39、確定模塊，用于根據(jù)所述目標(biāo)神經(jīng)網(wǎng)絡(luò)、所述目標(biāo)編譯映射策略和所述目標(biāo)加速器參數(shù)，確定目標(biāo)損失值，并在所述目標(biāo)損失值小于損失閾值的情況下，結(jié)束聯(lián)合搜索，得到最終的目標(biāo)神經(jīng)網(wǎng)絡(luò)、最終的目標(biāo)編譯映射策略、以及最終的目標(biāo)加速器參數(shù)。

40、本技術(shù)實施例的第四方面，公開了一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序，所述處理器執(zhí)行所述計算機(jī)程序時實現(xiàn)本技術(shù)實施例第一方面所述的基于網(wǎng)絡(luò)結(jié)構(gòu)和量化位寬和加速器架構(gòu)的聯(lián)合搜索方法的步驟，或，本技術(shù)實施例第二方面所述的圖像處理方法的步驟。

41、本技術(shù)實施例的第五方面，公開了一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，該計算機(jī)程序被處理器執(zhí)行時實現(xiàn)本技術(shù)實施例第一方面所述的基于網(wǎng)絡(luò)結(jié)構(gòu)和量化位寬和加速器架構(gòu)的聯(lián)合搜索方法的步驟，或，本技術(shù)實施例第二方面所述的圖像處理方法的步驟。

42、本技術(shù)實施例的第六方面，公開了一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序，該計算機(jī)程序被處理器執(zhí)行時實現(xiàn)本技術(shù)實施例第一方面所述的基于網(wǎng)絡(luò)結(jié)構(gòu)和量化位寬和加速器架構(gòu)的聯(lián)合搜索方法的步驟，或，本技術(shù)實施例第二方面所述的圖像處理方法的步驟。

43、本技術(shù)實施例包括以下優(yōu)點：

44、在本技術(shù)實施例中，創(chuàng)新性地將網(wǎng)絡(luò)結(jié)構(gòu)、超低比特混合精度量化（量化位寬）以及加速器架構(gòu)三者進(jìn)行聯(lián)合搜索，開拓了在軟硬聯(lián)合搜索領(lǐng)域的新方向。通過構(gòu)建搜索空間，并根據(jù)搜索空間進(jìn)行聯(lián)合搜索，得到目標(biāo)神經(jīng)網(wǎng)絡(luò)、所述目標(biāo)神經(jīng)網(wǎng)絡(luò)的各個目標(biāo)算子對應(yīng)的目標(biāo)編譯映射策略、以及目標(biāo)加速器參數(shù)；由于在聯(lián)合搜索過程中只對目標(biāo)算子的部分激活通道進(jìn)行量化，有效緩解了聯(lián)合搜索過程中的內(nèi)存爆炸問題；并且，對于每次聯(lián)合搜索，根據(jù)搜索得到的目標(biāo)神經(jīng)網(wǎng)絡(luò)、目標(biāo)編譯映射策略和目標(biāo)加速器參數(shù)，確定目標(biāo)損失值，因而能夠從網(wǎng)絡(luò)的運(yùn)算效率和硬件資源的使用等多方面進(jìn)行優(yōu)化，在保持性能的同時，大幅降低了計算資源的消耗。如此，有效地實現(xiàn)了基于網(wǎng)絡(luò)結(jié)構(gòu)、量化位寬和加速器架構(gòu)三者的聯(lián)合搜索優(yōu)化，這種綜合考慮量化精度和編譯維度的方法，不僅提升了網(wǎng)絡(luò)的運(yùn)算效率，也優(yōu)化了硬件資源的使用，從而在保持性能的同時，大幅降低了計算資源的消耗。