本申請涉及智能交通，尤其是涉及一種服務(wù)區(qū)停車場多源動(dòng)態(tài)數(shù)據(jù)的融合時(shí)空對齊方法。
背景技術(shù)：
1、隨著智慧交通的深度融合，基于多源傳感器數(shù)據(jù)融合的停車場管理系統(tǒng)正加速向高速公路服務(wù)區(qū)等場景滲透。當(dāng)前主流方案依托高算力云端服務(wù)器或本地工控機(jī)，通過全景相機(jī)畫面拼接的視覺檢測或雷達(dá)-視覺跨模態(tài)融合算法實(shí)現(xiàn)車輛與車位狀態(tài)感知，可實(shí)現(xiàn)服務(wù)區(qū)停車場大范圍覆蓋管理。但這種方法的集中式數(shù)據(jù)處理架構(gòu)面臨以下問題：傳感器數(shù)據(jù)全量回傳導(dǎo)致的帶寬壓力、云端處理鏈路引發(fā)的響應(yīng)遲滯、以及服務(wù)區(qū)網(wǎng)絡(luò)波動(dòng)對實(shí)時(shí)決策的干擾。
2、在此背景下，行業(yè)探索將邊緣計(jì)算設(shè)備引入服務(wù)區(qū)停車管理系統(tǒng)，通過本地部署輕量級ai模型，在數(shù)據(jù)產(chǎn)生端直接完成車輛檢測、定位等核心任務(wù)，充分發(fā)揮毫秒級響應(yīng)、帶寬需求銳減、弱網(wǎng)環(huán)境自治的優(yōu)勢，并構(gòu)建“邊緣實(shí)時(shí)決策+云端優(yōu)化”的協(xié)同模式。然而，隨著邊緣節(jié)點(diǎn)規(guī)?；渴鸬耐七M(jìn)，協(xié)同模式也存在以下缺陷：
3、現(xiàn)有雷視融合檢測方案依賴操作系統(tǒng)或中間件的軟件級時(shí)間同步，受線程調(diào)度、內(nèi)存拷貝等影響，圖像與雷達(dá)數(shù)據(jù)的時(shí)間戳對齊誤差通常較高。由于傳感器間的固有延遲，雷達(dá)旋轉(zhuǎn)周期與相機(jī)曝光時(shí)間具有一定差異，在動(dòng)態(tài)目標(biāo)跟蹤中會(huì)產(chǎn)生“鬼影”現(xiàn)象。并且由于未實(shí)現(xiàn)傳感器原始數(shù)據(jù)的時(shí)空對齊，當(dāng)攝像頭視角因遮擋漏檢車輛時(shí)，雷達(dá)數(shù)據(jù)無法反向修正圖像檢測結(jié)果，導(dǎo)致車輛狀態(tài)誤判率升高。
技術(shù)實(shí)現(xiàn)思路
1、本申請的其中一個(gè)目的在于提供一種能夠解決上述背景技術(shù)中至少一個(gè)缺陷的服務(wù)區(qū)停車場多源動(dòng)態(tài)數(shù)據(jù)的融合時(shí)空對齊方法。
2、為達(dá)到上述的至少一個(gè)目的，本申請采用的技術(shù)方案為：一種服務(wù)區(qū)停車場多源動(dòng)態(tài)數(shù)據(jù)的融合時(shí)空對齊方法，包括如下步驟：
3、s100：基于fpga的硬件觸發(fā)電路，生成同步脈沖信號；將同步脈沖信號的周期與圖像采集幀率匹配，并分別通過低電壓差分信號接口和晶體管-晶體管邏輯電平進(jìn)行全景相機(jī)陣列和雷達(dá)的驅(qū)動(dòng)；
4、s200：基于硬件級時(shí)間戳標(biāo)記單元與閉環(huán)時(shí)鐘馴服機(jī)制的協(xié)同設(shè)計(jì)，通過物理層與協(xié)議棧協(xié)同進(jìn)行報(bào)文的時(shí)間戳注入并計(jì)算主從時(shí)鐘偏差，根據(jù)得到的主從時(shí)鐘偏差進(jìn)行動(dòng)態(tài)補(bǔ)償；
5、s300：基于硬件級時(shí)間同步和數(shù)據(jù)緩沖及插值補(bǔ)償，進(jìn)行跨模態(tài)數(shù)據(jù)的時(shí)空對齊。
6、優(yōu)選的，步驟s200中，時(shí)間戳注入包括如下過程：構(gòu)建全局時(shí)鐘源，通過高穩(wěn)晶振驅(qū)動(dòng)時(shí)間計(jì)數(shù)器；將硬件時(shí)間戳標(biāo)記單元部署在數(shù)據(jù)鏈路層；在檢測到同步協(xié)議報(bào)文的幀起始定界符sfd時(shí)，立即鎖存當(dāng)前時(shí)間計(jì)數(shù)器數(shù)值，并將時(shí)間戳嵌入報(bào)文修正字段。
7、優(yōu)選的，時(shí)間計(jì)數(shù)器的更新邏輯滿足：；其中，ns_count表示時(shí)間計(jì)數(shù)器的納秒計(jì)數(shù)值，表示納秒增量，，fclk表示fpga主時(shí)鐘頻率。
8、優(yōu)選的，步驟s200中，主從時(shí)鐘偏差δt的計(jì)算公式為：δt=((t2-t1)-(t4-t3))/2；主從時(shí)鐘偏差的補(bǔ)償通過pid控制器生成頻率調(diào)節(jié)量δf(k)進(jìn)行補(bǔ)償，頻率調(diào)節(jié)量δf(k)的計(jì)算公式如下：
9、；
10、其中，t1和t2分別表示主時(shí)鐘同步報(bào)文發(fā)送與從時(shí)鐘接收時(shí)間戳，t3和t4分別表示從時(shí)鐘延遲請求和主時(shí)鐘響應(yīng)時(shí)間戳，e(k)表示第k次采樣的主從時(shí)鐘偏差，δt表示控制周期，kp、ki和kd分別表示比例、積分及微分系數(shù)。
11、優(yōu)選的，對主從時(shí)鐘偏差進(jìn)行溫度-頻率補(bǔ)償，補(bǔ)償量δfcomp直接與pid控制器輸出的頻率調(diào)節(jié)量進(jìn)行疊加；補(bǔ)償量δfcomp的計(jì)算公式如下：
12、δfcomp=α(t-tref)+β×dt/dt；
13、其中，α和β分別表示器件特性系數(shù)，t表示溫度采集量，tref表示參考溫度。
14、優(yōu)選的，步驟s300中的硬件級時(shí)間同步過程如下：基于ptp協(xié)議生成全局同步時(shí)鐘信號，通過fpga的專用全局布線資源分發(fā)至各數(shù)據(jù)采集模塊，以使得各數(shù)據(jù)采集模塊的時(shí)鐘信號的相位一致；時(shí)間戳標(biāo)記單元采用兩級鎖存結(jié)構(gòu)，以分別用于鎖存外部觸發(fā)信號和同步系統(tǒng)時(shí)鐘域；集成可編程觸發(fā)同步模塊，通過數(shù)控振蕩器動(dòng)態(tài)生成圖像采集與雷達(dá)觸發(fā)脈沖。
15、優(yōu)選的，在步驟s300中，為了適配全景相機(jī)畫面分辨率和雷達(dá)掃描頻率的動(dòng)態(tài)切換，對全景相機(jī)時(shí)間戳與雷達(dá)時(shí)間戳進(jìn)行基于時(shí)序補(bǔ)償?shù)男Ｕ?，具體的校正公式如下：
16、tcam_corrected=ttrigger+a×rwidth×rheight×tpixel；
17、tradar_corrected=ttrigger+b/fradar；
18、其中，tcam_corrected和tradar_corrected分別表示全景相機(jī)和雷達(dá)校正后的時(shí)間戳，ttrigger表示原始觸發(fā)信號的時(shí)間戳；rwidth和rheight分別表示圖像水平和垂直分辨率參數(shù)；tpixel表示單像素處理時(shí)間，a和b表示對應(yīng)的校正系數(shù)，fradar表示雷達(dá)的掃描頻率。
19、優(yōu)選的，當(dāng)進(jìn)行全景相機(jī)畫面分辨率和雷達(dá)掃描頻率的切換時(shí)，校正系數(shù)a和b的更新計(jì)算公式如下：
20、a=abase((rwidth×rheight)/(?rbase_width×rbase_height))0.8；
21、b=bfix+ω/fradar；
22、其中，abase表示系數(shù)的標(biāo)定值，具體可以根據(jù)標(biāo)定試驗(yàn)確定；rbase_表示基準(zhǔn)分辨率，bfix表示固定延遲，ω表示頻率相關(guān)項(xiàng)。
23、優(yōu)選的，步驟s300中數(shù)據(jù)緩沖及插值補(bǔ)償過程如下：對全景相機(jī)圖像數(shù)據(jù)和雷達(dá)數(shù)據(jù)先設(shè)置緩沖區(qū)；對圖像數(shù)據(jù)緩沖區(qū)采用乒乓操作策略，以使得其中一個(gè)緩沖區(qū)在進(jìn)行寫入時(shí)，另一個(gè)緩沖區(qū)被讀??；對雷達(dá)緩沖區(qū)基于時(shí)間戳實(shí)行優(yōu)先隊(duì)列管理，動(dòng)態(tài)刪除生存時(shí)間超過設(shè)定周期的過期數(shù)據(jù)；當(dāng)檢測全景相機(jī)圖像和雷達(dá)的時(shí)間戳以及位置差異過大時(shí)，啟動(dòng)線性插值補(bǔ)償生成融合目標(biāo)位置，進(jìn)而對全景相機(jī)與雷達(dá)的時(shí)空基準(zhǔn)進(jìn)行對齊。
24、優(yōu)選的，對于全景相機(jī)圖像和雷達(dá)的時(shí)間戳和位置差異通過誤差函數(shù)e(t)進(jìn)行表示；誤差函數(shù)e(t)以及用于生成融合目標(biāo)位置的插值函數(shù)pcomp(t)的表達(dá)式分別表示：
25、；
26、；
27、其中，a和b分別表示調(diào)節(jié)時(shí)間誤差與空間誤差的貢獻(xiàn)比例權(quán)重系數(shù)，pcam(t)和pradar(t)分別表示圖像數(shù)據(jù)和雷達(dá)數(shù)據(jù)的空間位置坐標(biāo)，eth表示誤差判斷閾值，pcomp(t)表示補(bǔ)償后的空間位置，p(tk)表示第k幀數(shù)據(jù)中的位置，tk表示校正后的對齊時(shí)間戳。
28、與現(xiàn)有技術(shù)相比，本申請的有益效果在于：
29、通過硬件級同步觸發(fā)與動(dòng)態(tài)補(bǔ)償機(jī)制，構(gòu)建了全景相機(jī)與激光雷達(dá)的高精度時(shí)空同步體系。基于fpga的可編程觸發(fā)電路生成相位可調(diào)的獨(dú)立脈沖信號，分別驅(qū)動(dòng)相機(jī)陣列與雷達(dá)傳感器，結(jié)合ptp協(xié)議實(shí)現(xiàn)全局時(shí)鐘同步，有效消除多設(shè)備間的時(shí)序累積偏差。
1.一種服務(wù)區(qū)停車場多源動(dòng)態(tài)數(shù)據(jù)的融合時(shí)空對齊方法，其特征在于，包括如下步驟：
2.如權(quán)利要求1所述的服務(wù)區(qū)停車場多源動(dòng)態(tài)數(shù)據(jù)的融合時(shí)空對齊方法，其特征在于，步驟s200中，時(shí)間戳注入包括如下過程：
3.如權(quán)利要求2所述的服務(wù)區(qū)停車場多源動(dòng)態(tài)數(shù)據(jù)的融合時(shí)空對齊方法，其特征在于，時(shí)間計(jì)數(shù)器的更新邏輯滿足：；
4.如權(quán)利要求1所述的服務(wù)區(qū)停車場多源動(dòng)態(tài)數(shù)據(jù)的融合時(shí)空對齊方法，其特征在于，步驟s200中，主從時(shí)鐘偏差δt的計(jì)算公式為：δt=((t2-t1)-(t4-t3))/2；
5.如權(quán)利要求3所述的服務(wù)區(qū)停車場多源動(dòng)態(tài)數(shù)據(jù)的融合時(shí)空對齊方法，其特征在于，對主從時(shí)鐘偏差進(jìn)行溫度-頻率補(bǔ)償，補(bǔ)償量δfcomp直接與pid控制器輸出的頻率調(diào)節(jié)量進(jìn)行疊加；補(bǔ)償量δfcomp的計(jì)算公式如下：
6.如權(quán)利要求1-4任一項(xiàng)所述的服務(wù)區(qū)停車場多源動(dòng)態(tài)數(shù)據(jù)的融合時(shí)空對齊方法，其特征在于，步驟s300中的硬件級時(shí)間同步過程如下：
7.如權(quán)利要求5所述的服務(wù)區(qū)停車場多源動(dòng)態(tài)數(shù)據(jù)的融合時(shí)空對齊方法，其特征在于，在步驟s300中，為了適配全景相機(jī)畫面分辨率和雷達(dá)掃描頻率的動(dòng)態(tài)切換，對全景相機(jī)時(shí)間戳與雷達(dá)時(shí)間戳進(jìn)行基于時(shí)序補(bǔ)償?shù)男Ｕ唧w的校正公式如下：
8.如權(quán)利要求7所述的服務(wù)區(qū)停車場多源動(dòng)態(tài)數(shù)據(jù)的融合時(shí)空對齊方法，其特征在于，當(dāng)進(jìn)行全景相機(jī)畫面分辨率和雷達(dá)掃描頻率的切換時(shí)，校正系數(shù)a和b的更新計(jì)算公式如下：
9.如權(quán)利要求6所述的服務(wù)區(qū)停車場多源動(dòng)態(tài)數(shù)據(jù)的融合時(shí)空對齊方法，其特征在于，步驟s300中的數(shù)據(jù)緩沖及插值補(bǔ)償過程如下：
10.如權(quán)利要求9所述的服務(wù)區(qū)停車場多源動(dòng)態(tài)數(shù)據(jù)的融合時(shí)空對齊方法，其特征在于，對于全景相機(jī)圖像和雷達(dá)的時(shí)間戳和位置差異通過誤差函數(shù)e(t)進(jìn)行表示；誤差函數(shù)e(t)以及用于生成融合目標(biāo)位置的插值函數(shù)pcomp(t)的表達(dá)式分別表示：