本發(fā)明涉及語(yǔ)音降噪，尤其涉及一種基于振動(dòng)傳感器的語(yǔ)音降噪方法、裝置、設(shè)備及介質(zhì)。
背景技術(shù)：
1、隨著科技的發(fā)展，語(yǔ)音識(shí)別技術(shù)在許多領(lǐng)域，如智能助手、自動(dòng)駕駛、電話客服等，得到了廣泛應(yīng)用。然而，面對(duì)復(fù)雜環(huán)境中的振動(dòng)噪聲，振動(dòng)噪聲通常源于機(jī)械設(shè)備、交通工具等，具有較強(qiáng)的低頻特性，傳統(tǒng)語(yǔ)音識(shí)別系統(tǒng)的準(zhǔn)確性和穩(wěn)定性常常受到嚴(yán)重影響，尤其是在工業(yè)環(huán)境、交通繁忙的城市、以及戶外等嘈雜場(chǎng)景中，背景噪聲和振動(dòng)會(huì)導(dǎo)致語(yǔ)音信號(hào)的失真，從而降低識(shí)別系統(tǒng)的性能?，F(xiàn)有技術(shù)中，雖然有各種降噪的方案，但是沒(méi)有針對(duì)振動(dòng)噪聲的技術(shù)方案，因此，如何提高語(yǔ)音識(shí)別在這些噪聲環(huán)境下的抗干擾能力，成為當(dāng)前語(yǔ)音識(shí)別技術(shù)研究的重要課題。
技術(shù)實(shí)現(xiàn)思路
1、基于此，有必要針對(duì)現(xiàn)有的基于振動(dòng)傳感器的語(yǔ)音降噪問(wèn)題，提出了一種基于振動(dòng)傳感器的語(yǔ)音降噪方法、裝置、設(shè)備及介質(zhì)。
2、一種基于振動(dòng)傳感器的語(yǔ)音降噪方法，所述方法應(yīng)用于振動(dòng)傳感器電路上，所述振動(dòng)傳感器電路包括振動(dòng)傳感器，所述振動(dòng)傳感器與振動(dòng)物體接觸連接，所述方法包括：
3、通過(guò)麥克風(fēng)采集混合信號(hào)，并同步采集振動(dòng)傳感器的參考信號(hào)；
4、基于所述參考信號(hào)和所述混合信號(hào)通過(guò)自適應(yīng)濾波器生成線性回聲估計(jì)，并計(jì)算初始?xì)埐睿?/p>
5、提取所述初始?xì)埐钆c所述傳感器參考信號(hào)的時(shí)頻特征，并輸入預(yù)訓(xùn)練的深度學(xué)習(xí)補(bǔ)償網(wǎng)絡(luò)中，以得到非線性回聲估計(jì)；
6、根據(jù)雙講狀態(tài)決策函數(shù)和所述非線性回聲估計(jì)對(duì)所述初始?xì)埐钸M(jìn)行調(diào)整，得到目標(biāo)殘差；
7、通過(guò)后置卡爾曼濾波降噪模塊對(duì)所述目標(biāo)殘差進(jìn)行處理，輸出純凈近端語(yǔ)音。
8、進(jìn)一步地，所述基于所述參考信號(hào)通過(guò)自適應(yīng)濾波器生成線性回聲估計(jì)，并計(jì)算初始?xì)埐畹牟襟E，包括：
9、通過(guò)預(yù)設(shè)的算法對(duì)所述參考信號(hào)迭代調(diào)整系數(shù)；其中，表示第k次脈沖響應(yīng)的系數(shù)；
10、根據(jù)公式計(jì)算線性回聲估計(jì)；其中，表示線性回聲估計(jì)，表示參考信號(hào)中脈沖響應(yīng)的長(zhǎng)度，表示參考信號(hào)中第n-k個(gè)脈沖響應(yīng)；
11、根據(jù)公式最小化誤差信號(hào)，得到初始?xì)埐?；其中，表示混合信號(hào)，表示初始?xì)埐睢?/p>
12、進(jìn)一步地，所述預(yù)設(shè)的算法為最小均方算法、歸一化算法以及遞歸最小二乘法中的一種。
13、進(jìn)一步地，所述提取所述初始?xì)埐钆c所述傳感器參考信號(hào)的時(shí)頻特征，并輸入預(yù)訓(xùn)練的深度學(xué)習(xí)補(bǔ)償網(wǎng)絡(luò)中，以得到非線性回聲估計(jì)的步驟，包括：
14、將所述初始?xì)埐钆c所述傳感器參考信號(hào)，分別通過(guò)短時(shí)傅里葉變換轉(zhuǎn)化成頻率信號(hào)，對(duì)應(yīng)得到初始?xì)埐铑l率信號(hào)和傳感器參考頻率信號(hào)；
15、將所述初始?xì)埐铑l率信號(hào)和所述傳感器參考頻率信號(hào)，輸入至預(yù)訓(xùn)練的深度學(xué)習(xí)補(bǔ)償網(wǎng)絡(luò)中，得到非線性回聲時(shí)頻掩碼；
16、將所述非線性回聲時(shí)頻掩碼應(yīng)用至初始?xì)埐铑l率信號(hào)，并進(jìn)行逆短時(shí)傅里葉變換，得到非線性回聲估計(jì)。
17、進(jìn)一步地，所述根據(jù)雙講狀態(tài)決策函數(shù)和所述非線性回聲估計(jì)對(duì)所述初始?xì)埐钸M(jìn)行調(diào)整，得到目標(biāo)殘差的步驟，包括：
18、計(jì)算所述參考信號(hào)和所述初始?xì)埐畹亩虝r(shí)能量，分別得到參考信號(hào)短時(shí)能量以及初始?xì)埐疃虝r(shí)能量；
19、計(jì)算所述初始?xì)埐疃虝r(shí)能量與所述參考信號(hào)短時(shí)能量的比值，并判斷比值是否大于預(yù)設(shè)的閾值；
20、若所述比值大于所述閾值，則記為雙講狀態(tài)，則根據(jù)公式調(diào)整殘差輸出；其中，為目標(biāo)殘差，為初始?xì)埐?，為非線性回聲估計(jì)；
21、若所述比值小于等于所述閾值，則記為非雙講狀態(tài)，則根據(jù)公式調(diào)整殘差輸出。
22、進(jìn)一步地，所述通過(guò)后置卡爾曼濾波降噪模塊對(duì)所述目標(biāo)殘差進(jìn)行處理，輸出純凈近端語(yǔ)音的步驟，包括：
23、對(duì)所述目標(biāo)殘差進(jìn)行短時(shí)傅里葉變換，得到殘差時(shí)頻信號(hào)；
24、對(duì)所述殘差時(shí)頻信號(hào)每個(gè)頻點(diǎn)進(jìn)行建模，得到每個(gè)頻點(diǎn)的狀態(tài)向量，其中，表示第t個(gè)頻點(diǎn)的狀態(tài)向量，表示第t個(gè)頻點(diǎn)的純凈語(yǔ)音幅度譜系數(shù)，表示第t個(gè)頻點(diǎn)的噪聲幅度譜系數(shù)；
25、設(shè)語(yǔ)音和噪聲服從一階自回歸模型；其中、為一階自回歸系數(shù)，通過(guò)卡爾濾波迭代更新，分別表示過(guò)程噪聲；
26、對(duì)每個(gè)頻點(diǎn)的狀態(tài)向量執(zhí)行卡爾曼濾波迭代，得到目標(biāo)狀態(tài)向量；
27、從所述目標(biāo)狀態(tài)向量中提取純凈近端語(yǔ)音。
28、本發(fā)明還提供了一種振動(dòng)傳感器電路，用于采集上述所述的參考信號(hào)，包括：供電濾波模塊、振動(dòng)傳感器模塊、正反饋放大模塊、兩級(jí)濾波模塊以及芯片；
29、所述供電濾波模塊與所述振動(dòng)傳感器模塊連接，所述供電濾波模塊用于對(duì)所述振動(dòng)傳感器進(jìn)行濾波和供電，所述振動(dòng)傳感器模塊與振動(dòng)物體接觸連接，以獲取振動(dòng)信號(hào)；
30、所述振動(dòng)傳感器模塊與所述正反饋放大模塊連接，所述正反饋放大模塊用于放大振動(dòng)信號(hào)；
31、所述正反饋放大模塊與所述兩級(jí)濾波模塊連接，所述兩級(jí)濾波模塊用于對(duì)放大的振動(dòng)信號(hào)進(jìn)行濾波處理，得到參考信號(hào)；
32、所述兩級(jí)濾波模塊與所述芯片連接，用于將參考信號(hào)傳遞至芯片進(jìn)行處理。
33、本發(fā)明還提供了一種基于振動(dòng)傳感器的語(yǔ)音降噪裝置，所述裝置應(yīng)用于振動(dòng)傳感器電路上，所述振動(dòng)傳感器電路包括振動(dòng)傳感器，所述振動(dòng)傳感器與振動(dòng)物體接觸連接，所述裝置包括：
34、采集模塊，用于通過(guò)麥克風(fēng)采集混合信號(hào)，并同步采集振動(dòng)傳感器的參考信號(hào)；
35、生成模塊，用于基于所述參考信號(hào)和所述混合信號(hào)通過(guò)自適應(yīng)濾波器生成線性回聲估計(jì)，并計(jì)算初始?xì)埐睿?/p>
36、提取模塊，用于提取所述初始?xì)埐钆c所述傳感器參考信號(hào)的時(shí)頻特征，并輸入預(yù)訓(xùn)練的深度學(xué)習(xí)補(bǔ)償網(wǎng)絡(luò)中，以得到非線性回聲估計(jì)；
37、調(diào)整模塊，用于根據(jù)雙講狀態(tài)決策函數(shù)和所述非線性回聲估計(jì)對(duì)所述初始?xì)埐钸M(jìn)行調(diào)整，得到目標(biāo)殘差；
38、輸出模塊，用于通過(guò)后置卡爾曼濾波降噪模塊對(duì)所述目標(biāo)殘差進(jìn)行處理，輸出純凈近端語(yǔ)音。
39、一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行以下步驟：
40、通過(guò)麥克風(fēng)采集混合信號(hào)，并同步采集振動(dòng)傳感器的參考信號(hào)；
41、基于所述參考信號(hào)和所述混合信號(hào)通過(guò)自適應(yīng)濾波器生成線性回聲估計(jì)，并計(jì)算初始?xì)埐睿?/p>
42、提取所述初始?xì)埐钆c所述傳感器參考信號(hào)的時(shí)頻特征，并輸入預(yù)訓(xùn)練的深度學(xué)習(xí)補(bǔ)償網(wǎng)絡(luò)中，以得到非線性回聲估計(jì)；
43、根據(jù)雙講狀態(tài)決策函數(shù)和所述非線性回聲估計(jì)對(duì)所述初始?xì)埐钸M(jìn)行調(diào)整，得到目標(biāo)殘差；
44、通過(guò)后置卡爾曼濾波降噪模塊對(duì)所述目標(biāo)殘差進(jìn)行處理，輸出純凈近端語(yǔ)音。
45、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行以下步驟：
46、通過(guò)麥克風(fēng)采集混合信號(hào)，并同步采集振動(dòng)傳感器的參考信號(hào)；
47、基于所述參考信號(hào)和所述混合信號(hào)通過(guò)自適應(yīng)濾波器生成線性回聲估計(jì)，并計(jì)算初始?xì)埐睿?/p>
48、提取所述初始?xì)埐钆c所述傳感器參考信號(hào)的時(shí)頻特征，并輸入預(yù)訓(xùn)練的深度學(xué)習(xí)補(bǔ)償網(wǎng)絡(luò)中，以得到非線性回聲估計(jì)；
49、根據(jù)雙講狀態(tài)決策函數(shù)和所述非線性回聲估計(jì)對(duì)所述初始?xì)埐钸M(jìn)行調(diào)整，得到目標(biāo)殘差；
50、通過(guò)后置卡爾曼濾波降噪模塊對(duì)所述目標(biāo)殘差進(jìn)行處理，輸出純凈近端語(yǔ)音。
51、本發(fā)明的有益效果：基于振動(dòng)傳感器的語(yǔ)音降噪方法通過(guò)多個(gè)處理步驟有效地減少語(yǔ)音信號(hào)中的噪聲，提高語(yǔ)音識(shí)別的精度與清晰度。結(jié)合自適應(yīng)濾波和深度學(xué)習(xí)的優(yōu)勢(shì)，使得該方法對(duì)各種環(huán)境特性有良好的適應(yīng)性，提高了對(duì)動(dòng)態(tài)環(huán)境變化的響應(yīng)能力及魯棒性。