本發(fā)明涉及疲勞檢測(cè)領(lǐng)域。更具體地，本發(fā)明涉及一種基于機(jī)器視覺的駕駛員疲勞狀態(tài)檢測(cè)方法及系統(tǒng)。

背景技術(shù)：

1、隨著現(xiàn)代社會(huì)對(duì)道路安全的高度重視，駕駛員疲勞駕駛問題成為交通事故的一個(gè)重要隱患。研究表明，疲勞駕駛是引發(fā)交通事故的主要原因之一，尤其是在長(zhǎng)時(shí)間駕駛和夜間行駛時(shí)，駕駛員容易出現(xiàn)精神不集中、反應(yīng)遲鈍等現(xiàn)象，進(jìn)而導(dǎo)致交通事故。因此，如何有效監(jiān)測(cè)和預(yù)警駕駛員的疲勞狀態(tài)，已成為學(xué)術(shù)界與工業(yè)界的研究熱點(diǎn)。

2、近年來，隨著計(jì)算機(jī)視覺和深度學(xué)習(xí)技術(shù)的發(fā)展，基于機(jī)器視覺的疲勞檢測(cè)方法逐漸嶄露頭角。該方法利用攝像頭等視覺設(shè)備獲取駕駛員的面部圖像或眼部圖像，結(jié)合圖像處理和深度學(xué)習(xí)技術(shù)，實(shí)時(shí)監(jiān)測(cè)駕駛員的狀態(tài)。這種方法不僅可以消除傳統(tǒng)方法中需要佩戴設(shè)備的困擾，而且由于視覺信息不易受到環(huán)境因素的干擾，具有更高的準(zhǔn)確性和魯棒性。

3、現(xiàn)有公開號(hào)為cn114332829a的中國(guó)專利申請(qǐng)文件公開了基于邊緣設(shè)備的駕駛員疲勞檢測(cè)方法，通過對(duì)目標(biāo)區(qū)域圖像進(jìn)行分割，獲得眼部和嘴部的輪廓；計(jì)算眼部和嘴部的相關(guān)值，判斷眼睛和嘴巴狀態(tài)；根據(jù)自適應(yīng)疲勞判定規(guī)則和眼睛和嘴巴狀態(tài)，判定駕駛員是否為疲勞駕駛。

4、但是，疲勞狀態(tài)是一個(gè)長(zhǎng)期的、動(dòng)態(tài)變化的過程，且其表現(xiàn)并非瞬時(shí)發(fā)生，而是隨著時(shí)間的推移逐漸加劇。因此，僅通過少量幀分析眼部和嘴部相關(guān)值來判斷疲勞狀態(tài)，忽視了這一過程的動(dòng)態(tài)特性，會(huì)出現(xiàn)疲勞狀態(tài)檢測(cè)結(jié)果的不準(zhǔn)確的問題。

技術(shù)實(shí)現(xiàn)思路

1、為解決疲勞狀態(tài)檢測(cè)結(jié)果的不準(zhǔn)確的問題，本發(fā)明提出一種基于機(jī)器視覺的駕駛員疲勞狀態(tài)檢測(cè)方法及系統(tǒng)。

2、第一方面，本發(fā)明公開一種基于機(jī)器視覺的駕駛員疲勞狀態(tài)檢測(cè)方法，包括：獲取駕駛員多幀預(yù)處理后的面部圖，并標(biāo)注關(guān)鍵點(diǎn)；將任一采樣時(shí)刻作為目標(biāo)幀，以目標(biāo)幀為中點(diǎn)、預(yù)設(shè)時(shí)段為長(zhǎng)度構(gòu)建時(shí)間框，將時(shí)間框中除目標(biāo)幀以外的采樣時(shí)刻作為參考幀，根據(jù)時(shí)間框內(nèi)參考幀與目標(biāo)幀中關(guān)鍵點(diǎn)的位移量計(jì)算目標(biāo)幀面部圖的初始疲勞度；根據(jù)時(shí)間框內(nèi)關(guān)鍵點(diǎn)之間歐式距離的波動(dòng)和初始疲勞度計(jì)算眼狀態(tài)評(píng)估，響應(yīng)于眼狀態(tài)評(píng)估大于預(yù)設(shè)疲勞閾值，生成并發(fā)送報(bào)警信號(hào)，完成疲勞狀態(tài)檢測(cè)。

3、通過實(shí)時(shí)分析面部特征點(diǎn)的位置變化，能夠更準(zhǔn)確地檢測(cè)到疲勞的生理反應(yīng)，為駕駛員提供早期疲勞預(yù)警，避免因疲勞引發(fā)的安全事故，從而有效提升駕駛安全性和道路行駛的整體安全性。

4、優(yōu)選的，獲取所述預(yù)處理后的面部圖包括：利用工業(yè)相機(jī)拍攝預(yù)設(shè)時(shí)段的面部視頻，利用opencv將面部視頻解碼為連續(xù)幀的面部原始圖，使用自適應(yīng)濾波算法去除每一幀面部原始圖的噪聲，通過對(duì)比度增強(qiáng)算法增強(qiáng)面部原始圖的細(xì)節(jié)；通過retinaface面部檢測(cè)算法獲得每一幀面部原始圖中的面部監(jiān)測(cè)框，并依據(jù)面部檢測(cè)框的位置進(jìn)行剪裁，獲得僅包含駕駛員面部的面部圖。

5、通過消除噪聲和強(qiáng)化圖像細(xì)節(jié)，使面部特征更為明顯，從而為面部關(guān)鍵點(diǎn)定位提供更加穩(wěn)定和清晰的數(shù)據(jù)支持，為疲勞檢測(cè)系統(tǒng)的準(zhǔn)確性和實(shí)時(shí)性提供了強(qiáng)有力的保障。

6、優(yōu)選的，所述關(guān)鍵點(diǎn)包括：左眼左側(cè)眼角關(guān)鍵點(diǎn)、左眼右側(cè)眼角關(guān)鍵點(diǎn)、左眼眼球正上方關(guān)鍵點(diǎn)、左眼眼球正下方關(guān)鍵點(diǎn)、左眼瞳孔關(guān)鍵點(diǎn)、右眼左側(cè)眼角關(guān)鍵點(diǎn)、右眼右側(cè)眼角關(guān)鍵點(diǎn)、右眼眼球正上方關(guān)鍵點(diǎn)、右眼眼球正下方關(guān)鍵點(diǎn)和右眼瞳孔關(guān)鍵點(diǎn)。

7、優(yōu)選的，所述初始疲勞度滿足關(guān)系式：

8、，表示目標(biāo)幀面部圖的初始疲勞度，表示參考幀的面部圖中左眼瞳孔關(guān)鍵點(diǎn)與目標(biāo)幀的面部圖中左眼瞳孔關(guān)鍵點(diǎn)之間的位移量，表示參考幀的面部圖中左眼瞳孔關(guān)鍵點(diǎn)與目標(biāo)幀的面部圖中左眼瞳孔關(guān)鍵點(diǎn)之間的位移量，表示參考幀的面部圖中右眼瞳孔關(guān)鍵點(diǎn)與目標(biāo)幀的面部圖中右眼瞳孔關(guān)鍵點(diǎn)之間的位移量，表示參考幀的面部圖中右眼瞳孔關(guān)鍵點(diǎn)與目標(biāo)幀的面部圖中右眼瞳孔關(guān)鍵點(diǎn)之間的位移量，表示時(shí)間框長(zhǎng)度，表示歸一化函數(shù)。

9、通過比較目標(biāo)幀與多個(gè)參考幀之間的眼部位移，能夠有效反映出眼睛在不同時(shí)間點(diǎn)的生理變化，進(jìn)而識(shí)別出疲勞的跡象。具體來說，通過計(jì)算左右眼瞳孔位置的變化，能夠捕捉到疲勞狀態(tài)下眼睛的微小運(yùn)動(dòng)變化，這些變化通常是由于長(zhǎng)時(shí)間專注或注意力下降所導(dǎo)致的。

10、優(yōu)選的，獲取所述眼狀態(tài)評(píng)估包括：構(gòu)建時(shí)間框的第一距離序列、第二距離序列、第三距離序列和第四距離序列；眼狀態(tài)評(píng)估滿足關(guān)系式：

11、，表示目標(biāo)幀面部圖的眼狀態(tài)評(píng)估，表示方差，表示第一距離序列，表示第二距離序列，表示第三距離序列，表示第四距離序列，表示眼角權(quán)重，表示眼球權(quán)重，表示疲勞權(quán)重，表示目標(biāo)幀面部圖的初始疲勞度，表示歸一化函數(shù)。

12、通過綜合考慮眼角和眼球關(guān)鍵點(diǎn)的位移變化，以及疲勞度評(píng)估，能夠更精準(zhǔn)地評(píng)估眼部的開閉狀態(tài)，從而為疲勞監(jiān)測(cè)提供更高效、準(zhǔn)確的結(jié)果。具體來說，通過計(jì)算左右眼角、上下眼球位置的關(guān)鍵點(diǎn)距離，并分析這些距離在時(shí)間框內(nèi)的變化情況，能夠捕捉到眼部微小的變化，反映出眼部開閉的動(dòng)態(tài)過程。眼角的位移變化對(duì)眼睛的睜閉狀態(tài)影響較大，而眼球上下位移則能更靈敏地檢測(cè)眼部的疲勞感知狀態(tài)。

13、優(yōu)選的，所述構(gòu)建時(shí)間框的第一距離序列、第二距離序列、第三距離序列和第四距離序列包括：對(duì)于時(shí)間框中任一幀采樣時(shí)刻的面部圖，計(jì)算左眼左側(cè)眼角關(guān)鍵點(diǎn)與左眼右側(cè)眼角關(guān)鍵點(diǎn)的第一距離、右眼左側(cè)眼角關(guān)鍵點(diǎn)與右眼右側(cè)眼角關(guān)鍵點(diǎn)的第二距離、左眼眼球正上方關(guān)鍵點(diǎn)與左眼眼球正下方關(guān)鍵點(diǎn)的第三距離、右眼眼球正上方關(guān)鍵點(diǎn)與右眼眼球正下方關(guān)鍵點(diǎn)的第四距離；遍歷獲得每個(gè)采樣時(shí)刻的第一距離、第二距離、第三距離和第四距離，構(gòu)建時(shí)間框的第一距離序列、第二距離序列、第三距離序列和第四距離序列。

14、優(yōu)選的，還包括：將眼狀態(tài)評(píng)估大于預(yù)設(shè)疲勞閾值的面部圖作為候選圖，對(duì)于任一候選圖，計(jì)算標(biāo)注后的嘴部正上方關(guān)鍵點(diǎn)與嘴部正下方關(guān)鍵點(diǎn)的第五距離；構(gòu)建所有候選圖的第五距離序列，獲取所有第五距離極小值點(diǎn)；計(jì)算候選圖的疲勞度，疲勞度滿足關(guān)系式：

15、，表示候選圖的疲勞度，表示候選圖的第五距離，和分別表示第五距離的最大值和最小值，表示候選圖左右兩個(gè)距離最近的第五距離極小值點(diǎn)的時(shí)間差，表示候選圖的眼狀態(tài)評(píng)估；根據(jù)疲勞度完成疲勞狀態(tài)檢測(cè)。

16、可以有效捕捉到因疲勞引起的面部微小變化，從而及時(shí)識(shí)別駕駛員的疲勞情況，降低疲勞駕駛帶來的安全風(fēng)險(xiǎn)，增強(qiáng)實(shí)時(shí)預(yù)警系統(tǒng)的可靠性，保障行車安全。

17、優(yōu)選的，所述根據(jù)疲勞度完成疲勞狀態(tài)檢測(cè)包括：響應(yīng)于疲勞度位于第一閾值范圍內(nèi)，認(rèn)為候選圖對(duì)應(yīng)采樣時(shí)刻的駕駛員處于輕度疲勞的狀態(tài)；響應(yīng)于疲勞度位于第二閾值范圍內(nèi)，認(rèn)為候選圖對(duì)應(yīng)采樣時(shí)刻的駕駛員處于中度疲勞的狀態(tài)；響應(yīng)于疲勞度位于第三閾值范圍內(nèi)，認(rèn)為候選圖對(duì)應(yīng)采樣時(shí)刻的駕駛員處于重度疲勞的狀態(tài)。

18、第二方面，本發(fā)明公開一種基于機(jī)器視覺的駕駛員疲勞狀態(tài)檢測(cè)系統(tǒng)，包括：處理器；以及存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)指令，當(dāng)所述計(jì)算機(jī)指令由處理器運(yùn)行時(shí)，使得系統(tǒng)執(zhí)行上述的一種基于機(jī)器視覺的駕駛員疲勞狀態(tài)檢測(cè)方法。

19、本發(fā)明的有益效果：

20、本發(fā)明通過多幀面部圖像的處理與分析，結(jié)合關(guān)鍵點(diǎn)位置和歐氏距離的變化，精準(zhǔn)計(jì)算駕駛員的初始疲勞度和眼部狀態(tài)，從而有效識(shí)別疲勞跡象。當(dāng)眼狀態(tài)評(píng)估超過設(shè)定的閾值時(shí)，系統(tǒng)及時(shí)發(fā)出報(bào)警信號(hào)，避免疲勞駕駛帶來的安全隱患。

21、進(jìn)一步地，通過對(duì)候選圖的嘴部關(guān)鍵點(diǎn)距離分析，結(jié)合疲勞度計(jì)算，能夠分級(jí)判斷駕駛員的疲勞程度，實(shí)現(xiàn)精準(zhǔn)的疲勞狀態(tài)評(píng)估。不僅能夠?qū)崟r(shí)監(jiān)控駕駛員的狀態(tài)，還能動(dòng)態(tài)調(diào)整檢測(cè)靈敏度，確保了在不同疲勞水平下及時(shí)響應(yīng)，極大提高了道路行車的安全性和駕駛員的健康保障。