本申請涉及圖像處理，尤其涉及一種多模態(tài)圖像的融合方法、裝置、計算機設(shè)備及存儲介質(zhì)。
背景技術(shù)：
1、隨著各行業(yè)作業(yè)機器人的迅速發(fā)展，多傳感器融合技術(shù)為作業(yè)機器人提供了感知基礎(chǔ)。例如，激光雷達(dá)和相機融合以其感知范圍廣、定位精度高的特點被廣泛應(yīng)用于電力作業(yè)場景中。
2、目前，三維圖像與二維圖像的融合方法，主要采用pnp算法對二維特征點與三維特征點對進行求解得到外參矩陣，以實現(xiàn)多模態(tài)圖像之間的直接融合。
3、然而，申請人在實施過程中發(fā)現(xiàn)，相關(guān)技術(shù)至少存在圖像融合質(zhì)量低的問題。
技術(shù)實現(xiàn)思路
1、基于此，本申請的目的旨在至少能解決上述的技術(shù)缺陷之一，特別是現(xiàn)有技術(shù)中圖像融合質(zhì)量低的技術(shù)缺陷，本申請?zhí)峁┝艘环N多模態(tài)圖像的融合方法、裝置、計算機設(shè)備及存儲介質(zhì)。
2、第一方面，本申請?zhí)峁┝艘环N多模態(tài)圖像的融合方法，該方法包括：
3、獲取待進行圖像融合的三維圖像和二維圖像，并按照相同的預(yù)設(shè)形狀進行區(qū)域劃分，得到三維圖像對應(yīng)的三維圖像區(qū)域和二維圖像對應(yīng)的二維圖像區(qū)域；
4、確定三維圖像區(qū)域中，位于同一深度距離的三維特征點；并確定三維特征點對應(yīng)在二維圖像區(qū)域中的二維特征點；
5、獲取三維特征點與二維特征點的相似程度；
6、在三維圖像區(qū)域的同一深度距離中，確定相似程度小于預(yù)設(shè)相似程度閾值對應(yīng)的三維特征點的數(shù)量；若數(shù)量大于預(yù)設(shè)數(shù)量閾值，則剔除相似程度小于預(yù)設(shè)相似程度閾值的三維特征點；
7、基于未剔除的三維特征點和對應(yīng)的二維特征點，進行圖像融合得到融合圖像。
8、在其中一個實施例中，獲取三維特征點與二維特征點的相似程度，包括：
9、獲取三維特征點對應(yīng)的投影像素坐標(biāo)，以及確定二維特征點的二維像素坐標(biāo)；
10、基于投影像素坐標(biāo)和二維像素坐標(biāo)，得到相似程度。
11、在其中一個實施例中，獲取三維特征點對應(yīng)的投影像素坐標(biāo)，包括：
12、基于當(dāng)前深度的三維特征點，以及三維特征點對應(yīng)的二維特征點，得到當(dāng)前深度對應(yīng)的外參標(biāo)定參數(shù)；其中，當(dāng)前深度為任一深度；
13、利用外參標(biāo)定參數(shù)，對當(dāng)前深度的三維特征點進行投影，得到三維特征點的投影像素坐標(biāo)。
14、在其中一個實施例中，利用外參標(biāo)定參數(shù)，對當(dāng)前深度的三維特征點進行投影，得到三維特征點的投影像素坐標(biāo)，包括：
15、獲取二維圖像的相機設(shè)備對應(yīng)的相機內(nèi)部參數(shù)；
16、利用外參標(biāo)定參數(shù)和相機內(nèi)部參數(shù)，對當(dāng)前深度的三維特征點進行投影處理，得到三維特征點的投影像素坐標(biāo)。
17、在其中一個實施例中，基于投影像素坐標(biāo)和二維像素坐標(biāo)，得到相似程度，包括：
18、確定投影像素坐標(biāo)和二維像素坐標(biāo)的歐氏距離；
19、基于歐氏距離，得到相似程度。
20、在其中一個實施例中，三維圖像和二維圖像均劃分為中心區(qū)域和外環(huán)區(qū)域；三維圖像的外環(huán)區(qū)域包括多個三維圖像區(qū)域；二維圖像的外環(huán)區(qū)域包括多個二維圖像區(qū)域；
21、基于未剔除的三維特征點和對應(yīng)的二維特征點，進行圖像融合得到融合圖像，包括：
22、確定中心區(qū)域?qū)?yīng)的三維特征點和二維特征點，并基于中心區(qū)域?qū)?yīng)的三維特征點和二維特征點，確定中心區(qū)域的外參標(biāo)定參數(shù)；
23、基于外環(huán)區(qū)域中未剔除的三維特征點和未剔除的三維特征點對應(yīng)的二維特征點，確定外環(huán)區(qū)域的外參標(biāo)定參數(shù)；
24、根據(jù)中心區(qū)域的外參標(biāo)定參數(shù)和外環(huán)區(qū)域的外參標(biāo)定參數(shù)，分別對中心區(qū)域和外環(huán)區(qū)域進行圖像融合，得到融合圖像。
25、在其中一個實施例中，該方法應(yīng)用于電力機器人；三維圖像為點云圖像；
26、獲取待進行圖像融合的三維圖像和二維圖像，包括：
27、通過電力機器人安裝的激光雷達(dá)，獲取點云圖像；
28、通過電力機器人安裝的相機設(shè)備，獲取二維圖像。
29、第二方面，本申請?zhí)峁┝艘环N多模態(tài)圖像的融合裝置，該裝置包括：
30、圖像區(qū)域確定模塊，用于獲取待進行圖像融合的三維圖像和二維圖像，并按照相同的預(yù)設(shè)形狀進行區(qū)域劃分，得到三維圖像對應(yīng)的三維圖像區(qū)域和二維圖像對應(yīng)的二維圖像區(qū)域；
31、特征點確定模塊，用于確定三維圖像區(qū)域中，位于同一深度距離的三維特征點；并確定三維特征點對應(yīng)在二維圖像區(qū)域中的二維特征點；
32、相似程度確定模塊，用于獲取三維特征點與二維特征點的相似程度；
33、數(shù)量確定模塊，用于在三維圖像區(qū)域的同一深度距離中，確定相似程度小于預(yù)設(shè)相似程度閾值對應(yīng)的三維特征點的數(shù)量；若數(shù)量大于預(yù)設(shè)數(shù)量閾值，則剔除相似程度小于預(yù)設(shè)相似程度閾值的三維特征點；
34、圖像融合模塊，用于基于未剔除的三維特征點和對應(yīng)的二維特征點，進行圖像融合得到融合圖像。
35、第三方面，本申請?zhí)峁┝艘环N計算機設(shè)備，包括存儲器和處理器，該存儲器存儲有計算機程序，處理器執(zhí)行計算機程序時實現(xiàn)上述方法的步驟。
36、第四方面，本申請?zhí)峁┝艘环N計算機可讀存儲介質(zhì)，其上存儲有計算機程序，計算機程序被處理器執(zhí)行時實現(xiàn)上述方法的步驟。
37、從以上技術(shù)方案可以看出，本申請實施例具有以下優(yōu)點：
38、本申請?zhí)峁┑亩嗄B(tài)圖像的融合方法、裝置、計算機設(shè)備及存儲介質(zhì)，通過按照相同的預(yù)設(shè)形狀進行區(qū)域劃分得到三維圖像對應(yīng)的三維圖像區(qū)域和二維圖像對應(yīng)的二維圖像區(qū)域；并且通過確定相同深度距離的三維特征點與二維特征點的相似程度，能夠判斷在某一個深度距離中，相似程度小于預(yù)設(shè)相似程度閾值的三維特征點的數(shù)量，如此，可以進一步在該數(shù)量大于預(yù)設(shè)數(shù)量閾值時，剔除相似程度小于預(yù)設(shè)相似程度閾值這一特征對應(yīng)的三維特征點，也就是，判斷到某一三維圖像區(qū)域中存在融合誤差過大的三維特征點較多時，可以剔除融合誤差過大的三維特征點，從而可以提高三維特征與二維特征點的融合準(zhǔn)確性，進而可以提高圖像融合質(zhì)量。
1.一種多模態(tài)圖像融合方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取所述三維特征點與所述二維特征點的相似程度，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述獲取所述三維特征點對應(yīng)的投影像素坐標(biāo)，包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述利用所述外參標(biāo)定參數(shù)，對所述當(dāng)前深度的三維特征點進行投影，得到所述三維特征點的投影像素坐標(biāo)，包括：
5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于所述投影像素坐標(biāo)和所述二維像素坐標(biāo)，得到所述相似程度，包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述三維圖像和所述二維圖像均劃分為中心區(qū)域和外環(huán)區(qū)域；三維圖像的外環(huán)區(qū)域包括多個所述三維圖像區(qū)域；二維圖像的外環(huán)區(qū)域包括多個所述二維圖像區(qū)域；
7.根據(jù)權(quán)利要求1至6任意一項所述的方法，其特征在于，所述方法應(yīng)用于電力機器人；所述三維圖像為點云圖像；
8.一種多模態(tài)圖像的融合裝置，其特征在于，所述裝置包括：
9.一種計算機設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)權(quán)利要求1至7中任一項所述的方法的步驟。
10.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至7中任一項所述的方法的步驟。