本發(fā)明涉及智能交通系統(tǒng)領(lǐng)域，具體涉及全方位盲區(qū)監(jiān)控與行車安全輔助定位系統(tǒng)。

背景技術(shù)：

1、隨著智能運(yùn)輸和自動化駕駛領(lǐng)域的快速進(jìn)步，對車輛安全性及駕駛輔助系統(tǒng)的要求變得愈加重要，現(xiàn)代交通環(huán)境的復(fù)雜性和多變性，使得駕駛員需要依賴更高級的技術(shù)來提高行駛安全和減少事故發(fā)生的概率，在這種背景下，全面監(jiān)測和評估車輛周圍環(huán)境的需求日益增強(qiáng)，推動了全方位盲區(qū)監(jiān)控與行車安全輔助定位系統(tǒng)的研發(fā)和應(yīng)用。

2、現(xiàn)有技術(shù)存在以下不足：現(xiàn)有的車輛盲區(qū)監(jiān)控系統(tǒng)主要依賴于單一或有限的傳感器配置，且僅覆蓋車輛的某些特定區(qū)域，往往無法全面識別車輛周圍的盲區(qū)，導(dǎo)致駕駛員在變道、倒車或其他操作時(shí)無法及時(shí)察覺潛在的危險(xiǎn)；此外，現(xiàn)有的目標(biāo)檢測技術(shù)多依賴于簡單的圖像處理算法，難以適應(yīng)復(fù)雜多變的駕駛環(huán)境，導(dǎo)致目標(biāo)檢測的準(zhǔn)確性不足，缺少預(yù)測目標(biāo)運(yùn)動，無法提前識別潛在的危險(xiǎn)，給駕駛員帶來安全隱患，單一的警報(bào)信息的傳遞方式難以快速引起駕駛員的注意，且缺乏用戶自定義功能，無法滿足不同駕駛員的個(gè)性化需求。

3、在所述背景技術(shù)部分公開的上述信息僅用于加強(qiáng)對本公開的背景的理解，因此它可以包括不構(gòu)成對本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供全方位盲區(qū)監(jiān)控與行車安全輔助定位系統(tǒng)，以解決上述背景技術(shù)中的問題。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：全方位盲區(qū)監(jiān)控與行車安全輔助定位系統(tǒng)，具體包括：包括盲區(qū)監(jiān)測模塊、深度點(diǎn)云模塊、目標(biāo)跟蹤模塊、目標(biāo)預(yù)測模塊以及ar顯示模塊；

3、盲區(qū)監(jiān)測模塊：將車輛的不同部位劃分不同的監(jiān)控盲區(qū)，并分別安裝兩個(gè)高分辨率攝像頭實(shí)時(shí)采集左、右環(huán)境圖像數(shù)據(jù)；

4、深度點(diǎn)云模塊：通過對左、右環(huán)境圖像數(shù)據(jù)進(jìn)行特征點(diǎn)檢測、匹配及計(jì)算視差值，以生成深度圖和左、右環(huán)境點(diǎn)云數(shù)據(jù)；

5、目標(biāo)跟蹤模塊：通過分析左、右環(huán)境圖像數(shù)據(jù)的連續(xù)幀的光流，結(jié)合深度圖利用目標(biāo)跟蹤器動態(tài)檢測目標(biāo)變化；

6、目標(biāo)預(yù)測模塊：構(gòu)建深度學(xué)習(xí)模型，基于環(huán)境點(diǎn)云數(shù)據(jù)和目標(biāo)運(yùn)動信息提取高級特征并進(jìn)行時(shí)間序列分析，預(yù)測目標(biāo)的運(yùn)動位置并判斷其是否進(jìn)入車輛的監(jiān)控盲區(qū)；

7、ar顯示模塊：通過增強(qiáng)現(xiàn)實(shí)技術(shù)將警報(bào)信息可視化，設(shè)計(jì)多種形式的警示燈并結(jié)合顏色編碼，實(shí)現(xiàn)對目標(biāo)運(yùn)動的警告、車輛位置和方向的指示；

8、優(yōu)選的，將車輛的前部劃分并標(biāo)記為第一監(jiān)控盲區(qū)，車輛的側(cè)部劃分并標(biāo)記為第二監(jiān)控盲區(qū)，車輛的尾部劃分并標(biāo)記為第三監(jiān)控盲區(qū)，在車輛的前部、側(cè)部以及尾部分別安裝兩個(gè)高分辨率攝像頭實(shí)時(shí)采集左、右環(huán)境圖像數(shù)據(jù)，其中左、右環(huán)境圖像數(shù)據(jù)包括靜態(tài)目標(biāo)數(shù)據(jù)和動態(tài)目標(biāo)數(shù)據(jù)，標(biāo)記每個(gè)環(huán)境圖像數(shù)據(jù)的時(shí)間戳，將高分辨率攝像頭的監(jiān)測視角與目標(biāo)角度保持45°，并校準(zhǔn)高分辨率攝像頭在車輛環(huán)境的空間位置和監(jiān)測視角的重疊情況。

9、優(yōu)選的，對左、右環(huán)境圖像數(shù)據(jù)進(jìn)行灰度化處理，利用特征點(diǎn)檢測和描述算法尋找左、右環(huán)境圖像數(shù)據(jù)中目標(biāo)的匹配特征點(diǎn)，通過knn匹配算法確定每個(gè)目標(biāo)的匹配特征點(diǎn)在左、右環(huán)境圖像數(shù)據(jù)中的對應(yīng)關(guān)系，計(jì)算左、右環(huán)境圖像數(shù)據(jù)中每個(gè)像素的水平視差值并創(chuàng)建視差圖，其具體公式為：

10、

11、其中,表示左、右環(huán)境圖像數(shù)據(jù)中每個(gè)像素的水平視差值，表示左環(huán)境圖像數(shù)據(jù)中目標(biāo)的匹配特征點(diǎn)的水平坐標(biāo)，表示右環(huán)境圖像數(shù)據(jù)中目標(biāo)的匹配特征點(diǎn)的水平坐標(biāo)，根據(jù)水平視差值計(jì)算左、右環(huán)境圖像數(shù)據(jù)中每個(gè)像素的深度值并創(chuàng)建深度圖，其具體公式為：

12、

13、其中,表示左、右環(huán)境圖像數(shù)據(jù)中每個(gè)像素的深度值，表示高分辨率攝像頭的焦距，表示高分辨率攝像頭的基線，基于深度圖計(jì)算左、右環(huán)境圖像數(shù)據(jù)中每個(gè)像素的三維坐標(biāo)并生成左、右環(huán)境點(diǎn)云數(shù)據(jù)，其具體公式為：

14、

15、其中，表示左、右環(huán)境點(diǎn)云數(shù)據(jù)的橫坐標(biāo),表示左、右環(huán)境點(diǎn)云數(shù)據(jù)的縱坐標(biāo)，表示左、右環(huán)境圖像數(shù)據(jù)中每個(gè)像素的二維坐標(biāo)，表示高分辨率攝像頭的主點(diǎn)坐標(biāo)。

16、優(yōu)選的，根據(jù)左、右環(huán)境圖像數(shù)據(jù)的連續(xù)幀分析像素強(qiáng)度變化估計(jì)目標(biāo)的運(yùn)動，對于連續(xù)幀計(jì)算光流，其具體公式為：

17、

18、其中,表示左、右環(huán)境點(diǎn)云數(shù)據(jù)方向的光流分量，表示左、右環(huán)境點(diǎn)云數(shù)據(jù)方向的光流分量，表示左、右環(huán)境點(diǎn)云數(shù)據(jù)時(shí)間方向的梯度，表示控制光流場平滑程度的正則化參數(shù),選擇車輛啟動前的靜止?fàn)顟B(tài)作為初始車輛背景，比較環(huán)境圖像數(shù)據(jù)的當(dāng)前幀和初始車輛背景的對應(yīng)幀之間的差異實(shí)現(xiàn)動態(tài)自適應(yīng)的目標(biāo)變化檢測，根據(jù)左、右環(huán)境圖像數(shù)據(jù)中每個(gè)像素的深度值過濾距離高分辨率攝像頭太遠(yuǎn)或太近的目標(biāo)，創(chuàng)建邊界框檢測車輛背景初始化目標(biāo)跟蹤器，在目標(biāo)的初始位置附近隨機(jī)生成一組表示目標(biāo)可能狀態(tài)的粒子，并分配相同的初始權(quán)重，根據(jù)加速度運(yùn)動原理對粒子的位置進(jìn)行更新，并基于邊界框和深度圖更新每個(gè)粒子的權(quán)重，歸一化所有權(quán)重并進(jìn)行重采樣，剔除低權(quán)重粒子，復(fù)制高權(quán)重粒子。

19、優(yōu)選的，構(gòu)建深度學(xué)習(xí)模型，通過輸入層接收左、右環(huán)境點(diǎn)云數(shù)據(jù)及目標(biāo)運(yùn)動信息，添加多個(gè)卷積層，利用relu作為激活函數(shù)層引入非線性并通過卷積核對環(huán)境點(diǎn)云特征、目標(biāo)運(yùn)動特征進(jìn)行總結(jié)提取，通過池化層對環(huán)境點(diǎn)云特征、目標(biāo)運(yùn)動特征進(jìn)行下采樣操作，重復(fù)迭代第一次卷積和池化操作，用于提取左、右環(huán)境點(diǎn)云數(shù)據(jù)的高級特征，對每個(gè)卷積層添加批量歸一化層，對卷積核中的環(huán)境點(diǎn)云特征、目標(biāo)運(yùn)動特征進(jìn)行歸一化處理，將環(huán)境點(diǎn)云特征、目標(biāo)運(yùn)動特征結(jié)合時(shí)間戳通過lstm層構(gòu)成時(shí)間序列，通過輸入門接收時(shí)間序列，將時(shí)間序列逐步傳遞至lstm層，在每個(gè)時(shí)間步中，通過lstm層接收當(dāng)前時(shí)間步的輸入環(huán)境點(diǎn)云特征、目標(biāo)運(yùn)動特征和前一個(gè)時(shí)間步的隱藏狀態(tài)，并生成當(dāng)前時(shí)間步的輸出環(huán)境點(diǎn)云特征、目標(biāo)運(yùn)動特征和當(dāng)前時(shí)間步的隱藏狀態(tài)，通過長短期記憶網(wǎng)絡(luò)中每個(gè)lstm層生成一個(gè)輸出時(shí)間序列特征，其中每個(gè)時(shí)間步的輸出都包含該時(shí)間步的時(shí)間序列信息，通過全連接層接收lstm的輸出時(shí)間序列特征并映射輸出目標(biāo)的運(yùn)動預(yù)測位置，根據(jù)左、右環(huán)境圖像數(shù)據(jù)中每個(gè)像素的差異值判斷目標(biāo)的運(yùn)動預(yù)測位置是否進(jìn)入車輛背景的監(jiān)控盲區(qū)，關(guān)聯(lián)高分辨率攝像頭的位置判斷當(dāng)前監(jiān)控盲區(qū)所屬車輛的部位。

20、優(yōu)選的，通過增強(qiáng)現(xiàn)實(shí)技術(shù)將警報(bào)信息在車載顯示屏上可視化，設(shè)計(jì)三角形警示燈表示目標(biāo)運(yùn)動警告、圓形警示燈表示車輛位置警告、箭頭警示燈表示目標(biāo)方向警告，對警示燈進(jìn)行顏色編碼，其中紅色警示燈表示高風(fēng)險(xiǎn)、黃色警示燈表示警告、綠色警示燈表示安全狀態(tài)、藍(lán)色警示燈表示額外道路信息，添加警示燈周期性閃爍及目標(biāo)平滑移動，將左、右環(huán)境點(diǎn)云數(shù)據(jù)的坐標(biāo)轉(zhuǎn)化為車載顯示屏的坐標(biāo)，根據(jù)不同高分辨率攝像頭的監(jiān)測視角和深度圖，利用透視投影調(diào)整增強(qiáng)現(xiàn)實(shí)內(nèi)容的大小和位置，允許駕駛員自定義警報(bào)層級和顯示內(nèi)容方式。

21、在上述技術(shù)方案中，本發(fā)明提供的技術(shù)效果和優(yōu)點(diǎn)：

22、1、通過精確劃分車輛的監(jiān)控盲區(qū)，并在每個(gè)盲區(qū)安裝高分辨率攝像頭，能夠?qū)崟r(shí)采集左、右環(huán)境圖像數(shù)據(jù)，顯著提高了對周圍環(huán)境的感知能力，通過對環(huán)境圖像數(shù)據(jù)的灰度化處理和特征點(diǎn)檢測，系統(tǒng)能夠有效識別靜態(tài)和動態(tài)目標(biāo)，并通過knn匹配算法建立目標(biāo)的匹配特征點(diǎn)，不僅提升了目標(biāo)檢測的準(zhǔn)確性，還為后續(xù)的深度值計(jì)算和三維坐標(biāo)生成奠定了基礎(chǔ)，采用光流分析技術(shù)對連續(xù)幀進(jìn)行運(yùn)動估計(jì)，使系統(tǒng)能夠動態(tài)監(jiān)測目標(biāo)的運(yùn)動變化，及時(shí)識別潛在的危險(xiǎn)情況，通過粒子濾波方法使得目標(biāo)跟蹤更加精確，通過對粒子權(quán)重的更新與重采樣，系統(tǒng)能夠適應(yīng)復(fù)雜的環(huán)境變化，確保目標(biāo)狀態(tài)的穩(wěn)定跟蹤，極大地增強(qiáng)了系統(tǒng)在復(fù)雜駕駛場景下的實(shí)時(shí)反應(yīng)能力，為駕駛員提供更為全面的安全保障。

23、2、通過輸入左、右環(huán)境點(diǎn)云數(shù)據(jù)及目標(biāo)運(yùn)動信息，利用卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)提取高級特征，形成時(shí)間序列分析，不僅提升了對目標(biāo)運(yùn)動狀態(tài)的預(yù)測能力，還能夠?qū)W習(xí)和適應(yīng)不同的駕駛環(huán)境，能夠?qū)崟r(shí)判斷目標(biāo)的運(yùn)動預(yù)測位置，并判斷其是否進(jìn)入車輛的監(jiān)控盲區(qū)，通過增強(qiáng)現(xiàn)實(shí)技術(shù)將警報(bào)信息可視化，系統(tǒng)能夠在車載顯示屏上直觀地呈現(xiàn)目標(biāo)運(yùn)動警告、車輛位置警告和目標(biāo)方向警告，提升了駕駛員的警覺性和反應(yīng)速度，通過設(shè)計(jì)顏色編碼的警示燈，使得信息傳遞更加清晰，能夠快速引導(dǎo)駕駛員的注意力。