本技術(shù)涉及圖像處理,尤其涉及一種圖像分割方法、裝置及圖像分割模型。
背景技術(shù):
1、目前,圖像分割技術(shù)已被廣泛應(yīng)用于背景虛化、虛擬背景、視頻人像摳圖、無人駕駛、安防監(jiān)控等場景。為了滿足這些應(yīng)用場景下的高精準(zhǔn)度和高實(shí)時性的圖像分割需求,通常采用開源圖像分割算法,來快速識別待處理圖像中的對象分割區(qū)域,用以實(shí)現(xiàn)相應(yīng)場景下的圖像處理任務(wù)。
2、然而,在對如體育賽場上運(yùn)動員的動作分析、高速車流量監(jiān)測,或者傳送帶移動物品的瑕疵檢測等應(yīng)用場景下的圖像分割過程中,很容易因待分割對象處于運(yùn)動狀態(tài),使得相鄰幀圖像中的對象運(yùn)動偏移過大,降低圖像分割精準(zhǔn)度。
技術(shù)實(shí)現(xiàn)思路
1、鑒于上述問題,本技術(shù)提供了以下方案:
2、本技術(shù)第一方面提供一種圖像分割方法,所述方法包括:
3、獲取待處理的當(dāng)前幀圖像組;
4、對所述當(dāng)前幀圖像組進(jìn)行處理,確定所述當(dāng)前幀圖像組中拍攝對象的運(yùn)動狀態(tài)信息;
5、選擇與所述運(yùn)動狀態(tài)信息相匹配的目標(biāo)圖像分割模型,對所述當(dāng)前幀圖像組進(jìn)行處理,得到當(dāng)前幀圖像分割結(jié)果;不同所述運(yùn)動狀態(tài)信息相匹配的目標(biāo)圖像分割模型中處于工作狀態(tài)的融合神經(jīng)網(wǎng)絡(luò)模塊數(shù)量不同,所述融合神經(jīng)網(wǎng)絡(luò)模塊用于進(jìn)行上一幀圖像信息與當(dāng)前幀圖像信息的融合。
6、在一種可能的實(shí)現(xiàn)中,所述選擇與所述運(yùn)動狀態(tài)信息相匹配的目標(biāo)圖像分割模型,對所述當(dāng)前幀圖像組進(jìn)行處理,得到當(dāng)前幀圖像分割結(jié)果,包括:
7、依據(jù)所述運(yùn)動狀態(tài)信息,從已訓(xùn)練的多個候選圖像分割模型中,選擇與所述運(yùn)動狀態(tài)信息相匹配的目標(biāo)圖像分割模型;
8、將所述當(dāng)前幀圖像組輸入所述目標(biāo)圖像分割模型進(jìn)行處理,得到當(dāng)前幀圖像分割結(jié)果。
9、在一種可能的實(shí)現(xiàn)中,所述選擇與所述運(yùn)動狀態(tài)信息相匹配的目標(biāo)圖像分割模型,對所述當(dāng)前幀圖像組進(jìn)行處理,得到當(dāng)前幀圖像分割結(jié)果,包括:
10、依據(jù)所述運(yùn)動狀態(tài)信息,從所述目標(biāo)圖像分割模型包含的多個候選解碼模塊中,選擇與運(yùn)動狀態(tài)信息相匹配的目標(biāo)解碼模塊;
11、基于所述目標(biāo)圖像分割模型中的編碼模塊和所述目標(biāo)解碼模塊,對所述當(dāng)前幀圖像組進(jìn)行處理,得到當(dāng)前幀圖像分割結(jié)果;
12、其中,不同所述候選解碼模塊包含的融合神經(jīng)網(wǎng)絡(luò)模塊數(shù)量不同。
13、在一種可能的實(shí)現(xiàn)中,所述選擇與所述運(yùn)動狀態(tài)信息相匹配的目標(biāo)圖像分割模型,對所述當(dāng)前幀圖像組進(jìn)行處理,得到當(dāng)前幀圖像分割結(jié)果,包括:
14、依據(jù)所述運(yùn)動狀態(tài)信息,從所述目標(biāo)圖像分割模型的解碼模塊包含的多個融合神經(jīng)網(wǎng)絡(luò)模塊中,選擇與所述運(yùn)動狀態(tài)信息相匹配的目標(biāo)融合神經(jīng)網(wǎng)絡(luò)模塊,將所述多個融合神經(jīng)網(wǎng)絡(luò)模塊中的其他融合神經(jīng)網(wǎng)絡(luò)模塊作為非目標(biāo)融合神經(jīng)網(wǎng)絡(luò)模塊;
15、將所述當(dāng)前幀圖像組輸入所述目標(biāo)圖像分割模型,在控制所述非目標(biāo)融合神經(jīng)網(wǎng)絡(luò)模塊處于非工作狀態(tài)的情況下,得到當(dāng)前幀圖像分割結(jié)果。
16、在一種可能的實(shí)現(xiàn)中,其中:
17、不同所述運(yùn)動狀態(tài)信息對應(yīng)表征的所述拍攝對象在相鄰幀圖像組之間的運(yùn)動偏移范圍越大,與該運(yùn)動狀態(tài)信息相匹配的目標(biāo)圖像分割模型中處于工作狀態(tài)的融合神經(jīng)網(wǎng)絡(luò)模塊數(shù)量越少;
18、所述處于工作狀態(tài)的融合神經(jīng)網(wǎng)絡(luò)模塊數(shù)量的減少方向是從所述目標(biāo)圖像分割模型的底層開始。
19、在一種可能的實(shí)現(xiàn)中,所述獲取待處理的當(dāng)前幀圖像組,包括:
20、獲取圖像序列中當(dāng)前幀原始圖像;
21、對所述當(dāng)前幀原始圖像進(jìn)行下采樣,得到與所述當(dāng)前幀原始圖像對應(yīng)的當(dāng)前幀待分割圖像;所述當(dāng)前幀待分割圖像的圖像尺寸小于所述當(dāng)前幀原始圖像的圖像尺寸;
22、其中,所述當(dāng)前幀原始圖像與所述當(dāng)前幀待分割圖像構(gòu)成當(dāng)前幀圖像組。
23、在一種可能的實(shí)現(xiàn)中,所述選擇與所述運(yùn)動狀態(tài)信息相匹配的目標(biāo)圖像分割模型,對所述當(dāng)前幀圖像組進(jìn)行處理,得到當(dāng)前幀圖像分割結(jié)果,包括:
24、選擇與所述運(yùn)動狀態(tài)信息相匹配的目標(biāo)圖像分割模型中的編碼模塊,對所述當(dāng)前幀圖像組中的當(dāng)前幀待分割圖像進(jìn)行特征提取,得到多個不同尺寸的當(dāng)前幀圖像特征;
25、選擇所述目標(biāo)圖像分割模型中的與所述運(yùn)動狀態(tài)信息相匹配的解碼模塊,對所述多個不同尺寸的當(dāng)前幀圖像特征進(jìn)行解碼,得到當(dāng)前幀圖像解碼信息;
26、依據(jù)所述目標(biāo)圖像分割模型中的上采樣模塊,對所述當(dāng)前幀圖像解碼信息以及所述當(dāng)前幀圖像組中的當(dāng)前幀原始圖像進(jìn)行處理,得到當(dāng)前幀圖像分割結(jié)果。
27、在一種可能的實(shí)現(xiàn)中,所述對所述當(dāng)前幀圖像組進(jìn)行處理,確定所述當(dāng)前幀圖像組中拍攝對象的運(yùn)動狀態(tài)信息,包括以下任一實(shí)現(xiàn)方式:
28、對所述當(dāng)前幀圖像組包含的當(dāng)前幀待分割圖像進(jìn)行運(yùn)動檢測,得到所述當(dāng)前幀待分割圖像中拍攝對象的運(yùn)動狀態(tài)信息;
29、獲取所述當(dāng)前幀圖像組包含的當(dāng)前幀待分割圖像中拍攝對象的動作特征,依據(jù)所述動作特征,確定所述當(dāng)前幀待分割圖像中拍攝對象的運(yùn)動狀態(tài)信息;
30、獲取所述當(dāng)前幀圖像組包含的當(dāng)前幀待分割圖像與上一幀圖像組包含的上一幀待分割圖像之間的運(yùn)動偏移量,將所述運(yùn)動偏移量確定為所述當(dāng)前幀圖像組中拍攝對象的運(yùn)動狀態(tài)信息;
31、其中,包含有不同數(shù)量的處于工作狀態(tài)的融合神經(jīng)網(wǎng)絡(luò)模塊的目標(biāo)圖像分割模型分別對應(yīng)不同的運(yùn)動偏移范圍。
32、在一種可能的實(shí)現(xiàn)中,所述選擇與所述運(yùn)動狀態(tài)信息相匹配的目標(biāo)圖像分割模型,對所述當(dāng)前幀圖像組進(jìn)行處理,得到當(dāng)前幀圖像分割結(jié)果,包括:
33、選擇與所述運(yùn)動狀態(tài)信息相匹配的目標(biāo)圖像分割模型,對連續(xù)指定幀數(shù)的圖像組進(jìn)行處理,得到相應(yīng)幀圖像分割結(jié)果,以在獲取所述指定幀數(shù)的下一幀圖像組后,執(zhí)行對所述下一幀圖像組進(jìn)行處理,確定所述下一幀圖像組中拍攝對象的運(yùn)動狀態(tài)信息;
34、其中,所述連續(xù)指定幀數(shù)是從當(dāng)前幀開始的連續(xù)多幀;
35、所述目標(biāo)圖像分割模型中處于工作狀態(tài)的融合神經(jīng)網(wǎng)絡(luò)模塊數(shù)量越少,所述連續(xù)指定幀數(shù)越大。
36、本技術(shù)第二方面提供了一種圖像分割模型,包括:編碼模塊和解碼模塊,其中:
37、所述解碼模塊中的至少一個層未包含融合神經(jīng)網(wǎng)絡(luò)模塊,或者至少一個層包含的融合神經(jīng)網(wǎng)絡(luò)模塊處于非工作狀態(tài)。
38、在一種可能的實(shí)現(xiàn)中,所述解碼模塊的數(shù)量為多個,多個所述解碼模塊各自包含多個層中,包含有所述融合神經(jīng)網(wǎng)絡(luò)模塊的層數(shù)量不同。
39、本技術(shù)第三方面提供了一種圖像分割裝置,包括:
40、當(dāng)前幀圖像組獲取模塊,用于獲取待處理的當(dāng)前幀圖像組;
41、運(yùn)動狀態(tài)信息確定模塊,用于對所述當(dāng)前幀圖像組進(jìn)行處理,確定所述當(dāng)前幀圖像組中拍攝對象的運(yùn)動狀態(tài)信息;
42、選擇模塊,用于選擇與所述運(yùn)動狀態(tài)信息相匹配的目標(biāo)圖像分割模型,對所述當(dāng)前幀圖像組進(jìn)行處理,得到當(dāng)前幀圖像分割結(jié)果;
43、其中,不同所述運(yùn)動狀態(tài)信息相匹配的目標(biāo)圖像分割模型中處于工作狀態(tài)的融合神經(jīng)網(wǎng)絡(luò)模塊數(shù)量不同,所述融合神經(jīng)網(wǎng)絡(luò)模塊用于進(jìn)行上一幀圖像信息與當(dāng)前幀圖像信息的融合。