本發(fā)明屬于語音信號(hào)處理，尤其涉及基于諧波特征與深度學(xué)習(xí)的無人機(jī)語音增強(qiáng)方法及系統(tǒng)。

背景技術(shù)：

1、在近年來無人機(jī)搭載攝像頭使其在視覺應(yīng)用上為用戶提供廣泛應(yīng)用，但在一些特殊場景下視覺處理并不能滿足用戶需求，如惡劣天氣的救援活動(dòng)，由于天氣原因，無人機(jī)搭載的攝像頭無法清晰捕捉救援情況，于是可以在無人機(jī)上搭載麥克風(fēng)整列，使無人機(jī)在視覺之外，兼具聽覺，以解決一些視覺處理無法滿足的情況；

2、目前，采用的方法大都存在局限性，如dji(大疆)、parrot通過改進(jìn)旋翼設(shè)計(jì)(如形狀、材料)和電機(jī)結(jié)構(gòu)，從源頭降低噪聲對噪音消除效果有限，izotope、adobe等音頻軟件處理公司提供的基于軟件的噪音消除方法對實(shí)時(shí)處理的支持有限，mit、stanford等基于傳統(tǒng)信號(hào)處理技術(shù)的噪聲處理對非線性噪聲效果有限，同時(shí)隨著深度學(xué)習(xí)的發(fā)展，有許多基于深度學(xué)習(xí)的語音增強(qiáng)系統(tǒng)，基本都是處理靜態(tài)噪音，但由于無人機(jī)在飛行過程中自噪音是動(dòng)態(tài)的，無針對旋翼無人機(jī)自噪聲特征感知的深度學(xué)習(xí)語音增強(qiáng)系統(tǒng)；

3、本發(fā)明通過對無人機(jī)自噪聲諧波特性的處理，用來指導(dǎo)深度學(xué)習(xí)，構(gòu)建深度學(xué)習(xí)模型動(dòng)態(tài)分析無人機(jī)自噪聲的周期性諧波特征，根據(jù)分析結(jié)果，動(dòng)態(tài)調(diào)整參數(shù)，實(shí)現(xiàn)基于旋翼無人機(jī)自噪聲特征感知的深度學(xué)習(xí)語音增強(qiáng)。

技術(shù)實(shí)現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)的上述缺陷，本發(fā)明的實(shí)施例提供基于諧波特征與深度學(xué)習(xí)的無人機(jī)語音增強(qiáng)方法及系統(tǒng)，解決了背景技術(shù)提到的問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于周期性諧波特征與深度學(xué)習(xí)預(yù)測的無人機(jī)語音增強(qiáng)方法，包括如下步驟：

3、步驟s1：采集無人機(jī)的旋翼自噪聲信號(hào)，即原始的采樣頻率；

4、步驟s2：對原始的采樣頻率進(jìn)行處理，得到新的采樣頻率，對新的采樣頻率進(jìn)行過濾處理，獲得歸一化信號(hào)，對歸一化信號(hào)進(jìn)行提取，獲取歸一化信號(hào)頻譜，使用峰值檢測算法找到歸一化信號(hào)頻譜中的峰值，將峰值作為基頻，對歸一化信號(hào)頻譜進(jìn)行提取，獲得諧波分量，將基頻和諧波分量按順序排列，形成特征向量；

5、步驟s3：對特征向量進(jìn)行處理，生成噪聲動(dòng)態(tài)變化標(biāo)簽，將特征向量和噪聲動(dòng)態(tài)變化標(biāo)簽組合成數(shù)據(jù)集，構(gòu)建深度學(xué)習(xí)模型，將數(shù)據(jù)集輸入深度學(xué)習(xí)模型進(jìn)行處理，輸出噪聲動(dòng)態(tài)變化標(biāo)簽的預(yù)測結(jié)果；

6、步驟s4：對無人機(jī)的旋翼自噪聲信號(hào)進(jìn)行提取，得到帶噪語音幅度譜，根據(jù)噪聲動(dòng)態(tài)變化標(biāo)簽的預(yù)測結(jié)果使用最小統(tǒng)計(jì)量法計(jì)算無人機(jī)的旋翼自噪聲信號(hào)的能量分布，對帶噪語音幅度譜進(jìn)行平滑處理，得到平滑后的頻譜，對平滑后的頻譜進(jìn)行處理，得到噪聲的頻譜特性，通過帶噪語音幅度譜減去噪聲的頻譜特性，獲得增強(qiáng)后的幅度譜，對帶噪語音幅度譜進(jìn)行處理，得到相位信息，將增強(qiáng)后的幅度譜和相位信息結(jié)合，構(gòu)建增強(qiáng)后的頻譜，對增強(qiáng)后的頻譜進(jìn)行處理，得到增強(qiáng)后的信號(hào)；

7、步驟s5：將增強(qiáng)后的信號(hào)進(jìn)行輸出。

8、進(jìn)一步，步驟s1中采集無人機(jī)的旋翼自噪聲信號(hào)，具體過程為：

9、高靈敏麥克風(fēng)陣列搭載在無人機(jī)上，高靈敏麥克風(fēng)陣列連接高性能數(shù)模轉(zhuǎn)換器，通過高靈敏麥克風(fēng)陣列采集無人機(jī)的旋翼自噪聲信號(hào)，采集無人機(jī)的旋翼自噪聲信號(hào)為模擬信號(hào)，將模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)，即為原始的采樣頻率。

10、進(jìn)一步，步驟s2中特征向量，具體過程為：

11、對原始的采樣頻率進(jìn)行降采樣頻率，獲得新的采樣頻率，在降采樣頻率之前，使用低通濾波器去除高于新的采樣頻率一半的頻率成分，取原始的采樣頻率與新的采樣頻的最小整數(shù)，設(shè)置降采樣因子m是3，表示：

12、m＝foriginal/fnew＝3(1)；

13、式中，foriginal表示原始的采樣頻率；fnew表示新的采樣頻率；使用巴特沃斯濾波器對新的采樣頻率中高頻噪聲和低頻干擾進(jìn)行過濾處理，獲得過濾信號(hào)，巴特沃斯濾波器階數(shù)n＝4，表示：

14、

15、式中，f表示頻率；h(f)表示巴特沃斯濾波器的頻率響應(yīng)函數(shù)；fc表示巴特沃斯濾波器的截止頻率；計(jì)算過濾信號(hào)最大絕對值|xmax|，將所有過濾信號(hào)除以過濾信號(hào)最大絕對值|xmax|達(dá)到信號(hào)幅度標(biāo)準(zhǔn)化固定范圍[-1,1]之間，表示：

16、xnormalized＝x/|xmax|(3)；

17、式中，xnormalized表示歸一化信號(hào)，x表示無人機(jī)的旋翼自噪聲信號(hào)；xmax表示信號(hào)最大絕對值；

18、對歸一化信號(hào)中每一幀信號(hào)進(jìn)行短時(shí)傅里葉變換，獲取歸一化信號(hào)頻譜，表示：

19、

20、式中，x(f,t)表示歸一化信號(hào)在時(shí)間t和頻率f處的變換結(jié)果；x(n’)表示旋翼自噪聲信號(hào)的第n’個(gè)樣本；w(n’-t)表示窗函數(shù)在時(shí)間索引n’和窗口起始位置t處的值；e-j2πfn/320表示復(fù)指數(shù)函數(shù)；j表示虛數(shù)單位；e表示自然對數(shù)的底數(shù)；

21、使用峰值檢測算法找到歸一化信號(hào)頻譜中的峰值，將峰值作為基頻ffundamental；

22、在歸一化信號(hào)頻譜中找到基頻的整數(shù)倍頻率位置，提取基頻的諧波分量eharmonic,i，表示：

23、eharmonic,i＝|s(i*ffundamental,t)|i＝2,3,…,10(5)；

24、式中，eharmonic,i表示第i個(gè)諧波分量；s表示頻譜函數(shù)；ffundamental,t表示當(dāng)前一幀t的基頻；

25、將基頻和諧波分量按順序排列，形成特征向量，特征向量表示為f＝[ffundamental,t,eharmonic,2,eharmonic,3,…,eharmonic,10]；eharmonic,2表示第二個(gè)諧波分量；eharmonic,3表示第三個(gè)諧波分量；eharmonic,10表示第十個(gè)諧波分量。

26、進(jìn)一步，步驟s3中噪聲動(dòng)態(tài)變化標(biāo)簽的預(yù)測結(jié)果，具體過程為：

27、將特征向量f作為輸入數(shù)據(jù)，對輸入數(shù)據(jù)進(jìn)行處理，計(jì)算輸入數(shù)據(jù)中基頻和諧波分量前一幀的變化值，生成噪聲動(dòng)態(tài)變化標(biāo)簽y＝[δffundamental,δeharmonic,2,δeharmonic,3,…,δeharmonic,10]，δeharmonic,10表示第十個(gè)諧波分量的動(dòng)態(tài)變化值，表示：

28、δffundamental＝ffundamental,t-ffundamental,t-1(6)；

29、δeharmonic,i＝eharmonic,i,t-eharmonic,i,t-1(7)；

30、式中，δffundamental表示當(dāng)前幀基頻減前一幀基頻的差；ffundamental,t-1表示前一幀t-1的基頻；δeharmonic,i表示當(dāng)前幀第i個(gè)諧波分量的能量減前一幀第i個(gè)諧波分量的能量；eharmonic,i,t表示前一幀t中，第i個(gè)諧波分量；eharmonic,i,t-1表示前一幀t-1中，第i個(gè)諧波分量；

31、將特征向量f和噪聲動(dòng)態(tài)變化標(biāo)簽y組合成數(shù)據(jù)集；

32、構(gòu)建深度學(xué)習(xí)模型，將數(shù)據(jù)集輸入深度學(xué)習(xí)模型進(jìn)行處理，輸出噪聲動(dòng)態(tài)變化標(biāo)簽的預(yù)測結(jié)果ypred＝[δffundamental,δeharmonic,2,δeharmonic,3,…,δeharmonic,10]；

33、使用均方差作為損失函數(shù)，計(jì)算噪聲動(dòng)態(tài)變化標(biāo)簽的預(yù)測結(jié)果ypred與噪聲動(dòng)態(tài)變化標(biāo)簽y之間的誤差，表示：

34、

35、式中，mse表示均方差；n表示噪聲動(dòng)態(tài)變化標(biāo)簽總數(shù)；ypred,i表示第i個(gè)噪聲動(dòng)態(tài)變化標(biāo)簽的預(yù)測結(jié)果；yi表示第i個(gè)噪聲動(dòng)態(tài)變化標(biāo)簽；n’表示樣本序號(hào)。

36、進(jìn)一步，步驟s4中增強(qiáng)后的信號(hào)，具體過程為：

37、對無人機(jī)的旋翼自噪聲信號(hào)進(jìn)行周期性諧波特性提取，得到帶噪語音幅度譜∣xm(f)∣；

38、根據(jù)噪聲動(dòng)態(tài)變化標(biāo)簽的預(yù)測結(jié)果ypred使用最小統(tǒng)計(jì)量法計(jì)算無人機(jī)的旋翼自噪聲信號(hào)的能量分布，對帶噪語音幅度譜∣xm(f)∣進(jìn)行時(shí)間平滑處理，得到平滑后的頻譜∣x～m(f)∣，通過遞歸平均法更新噪聲頻譜估計(jì)，表示：

39、∣nm(f)∣＝α·∣nm-1(f)∣+(1-α)·∣x～m(f)∣?(9)；

40、式中，∣nm(f)∣表示噪聲的頻譜特性；α表示過減因子；∣nm-1(f)∣表示前一幀的平滑后頻譜的幅度；

41、使用語音增強(qiáng)算法對帶噪語音幅度譜∣xm(f)∣減去噪聲的頻譜特性∣nm(f)∣，得到增強(qiáng)后的幅度譜，表示：

42、

43、式中，∣sm(f)∣表示增強(qiáng)后的幅度譜；max表示最大值；

44、過減因子α用來控制帶噪語音幅度譜∣xm(f)噪聲抑制的強(qiáng)度，使用max(…，0)函數(shù)確定帶噪語音幅度譜∣xm(f)為非負(fù)值，再對帶噪語音幅度譜∣xm(f)進(jìn)行處理，保留噪音的相位信息φm(f)，表示：

45、φm(f)＝∠xm(f)?(11)；

46、將增強(qiáng)后的幅度譜∣sm(f)∣和相位信息φm(f)結(jié)合得到增強(qiáng)后的頻譜gm(f)，表示：

47、gm(f)＝∣sm(f)∣·φm(f)ejφm(f)?(12)；

48、式中，ejφm(f)表示復(fù)數(shù)形式的相位因子；

49、基于δffundamental和δeharmonic,i，通過動(dòng)態(tài)參數(shù)調(diào)整語音增強(qiáng)算法的過減因子α，當(dāng)δffundamental和δeharmonic,i的值增大時(shí)，會(huì)增加過減因子α，輸出動(dòng)態(tài)參數(shù)調(diào)整后的增強(qiáng)參數(shù)，利用增強(qiáng)參數(shù)對增強(qiáng)后的頻譜gm(f)進(jìn)行時(shí)域重構(gòu)，對增強(qiáng)后的頻譜gm(f)進(jìn)行逆傅里葉變換，得到時(shí)域信號(hào)sm(n)，表示：

50、sm(n)＝ifft(gm(f))?(13)；

51、式中，ifft表示逆傅里葉變換；

52、再使用重疊相加法，對每一幀時(shí)域信號(hào)sm(n)與前一幀時(shí)域信號(hào)sm(n)重疊部分相加，最終輸出增強(qiáng)后的信號(hào)s(n)。

53、進(jìn)一步，一種基于周期性諧波特征與深度學(xué)習(xí)預(yù)測的無人機(jī)語音增強(qiáng)系統(tǒng)，用于所述的一種基于周期性諧波特征與深度學(xué)習(xí)預(yù)測的無人機(jī)語音增強(qiáng)方法，包括：

54、自噪聲采集模塊，用于采集無人機(jī)的旋翼自噪聲信號(hào)，即原始的采樣頻率；

55、周期性諧波特征提取模塊，用于對原始的采樣頻率進(jìn)行處理，得到新的采樣頻率，對新的采樣頻率進(jìn)行過濾處理，獲得歸一化信號(hào)，對歸一化信號(hào)進(jìn)行提取，獲取歸一化信號(hào)頻譜，使用峰值檢測算法找到歸一化信號(hào)頻譜中的峰值，將峰值作為基頻，對歸一化信號(hào)頻譜進(jìn)行提取，獲得諧波分量，將基頻和諧波分量按順序排列，形成特征向量；

56、深度學(xué)習(xí)模型預(yù)測噪聲動(dòng)態(tài)變化模塊，用于對特征向量進(jìn)行處理，生成噪聲動(dòng)態(tài)變化標(biāo)簽，將特征向量和噪聲動(dòng)態(tài)變化標(biāo)簽組合成數(shù)據(jù)集，構(gòu)建深度學(xué)習(xí)模型，將數(shù)據(jù)集輸入深度學(xué)習(xí)模型進(jìn)行處理，輸出噪聲動(dòng)態(tài)變化標(biāo)簽的預(yù)測結(jié)果；

57、語音增強(qiáng)模塊，用于對無人機(jī)的旋翼自噪聲信號(hào)進(jìn)行提取，得到帶噪語音幅度譜，根據(jù)噪聲動(dòng)態(tài)變化標(biāo)簽的預(yù)測結(jié)果使用最小統(tǒng)計(jì)量法計(jì)算無人機(jī)的旋翼自噪聲信號(hào)的能量分布，對帶噪語音幅度譜進(jìn)行平滑處理，得到平滑后的頻譜，對平滑后的頻譜進(jìn)行處理，得到噪聲的頻譜特性，通過帶噪語音幅度譜減去噪聲的頻譜特性，獲得增強(qiáng)后的幅度譜，對帶噪語音幅度譜進(jìn)行處理，得到相位信息，將增強(qiáng)后的幅度譜和相位信息結(jié)合，構(gòu)建增強(qiáng)后的頻譜，對增強(qiáng)后的頻譜進(jìn)行處理，得到增強(qiáng)后的信號(hào)；

58、輸出模塊，用于將增強(qiáng)后的信號(hào)進(jìn)行輸出。

59、與現(xiàn)有的技術(shù)相比，本發(fā)明具備以下有益效果：

60、(1)本發(fā)明通過對無人機(jī)的旋翼自噪聲信號(hào)的周期性諧波特性提取，并結(jié)合深度學(xué)習(xí)模型預(yù)測噪聲變化趨勢，能夠更精準(zhǔn)地分離噪聲與語音，從而大幅提高語音信噪比；

61、相較于傳統(tǒng)靜態(tài)降噪方法(如譜減法或固定濾波器)，本發(fā)明的動(dòng)態(tài)參數(shù)調(diào)整能夠適應(yīng)無人機(jī)飛行過程中旋翼轉(zhuǎn)速變化、氣流擾動(dòng)等復(fù)雜噪聲環(huán)境，使增強(qiáng)后的語音更清晰、可懂度更高。

62、(2)本發(fā)明通過動(dòng)態(tài)調(diào)整無人機(jī)自噪聲的變化，實(shí)時(shí)調(diào)整語音增強(qiáng)參數(shù)，減少語音失真；

63、傳統(tǒng)降噪方法(如固定參數(shù)的wiener濾波或噪聲門限)在無人機(jī)噪聲動(dòng)態(tài)變化時(shí)容易導(dǎo)致語音過度抑制或殘留噪聲；

64、本發(fā)明通過cnn-rnn混合模型實(shí)時(shí)預(yù)測噪聲變化(如基頻和諧波能量波動(dòng))，動(dòng)態(tài)調(diào)整過減因子和濾波器參數(shù)，避免語音失真；

65、實(shí)驗(yàn)表明，在旋翼轉(zhuǎn)速突變(如加速或減速)時(shí)，本方法的語音失真度(pesq評分)比傳統(tǒng)方法提升約20％。