本發(fā)明涉及數(shù)據(jù)處理，特別涉及基于ai和語音數(shù)據(jù)的用戶情緒識別方法。

背景技術(shù)：

1、現(xiàn)有語音情緒識別技術(shù)依賴用戶在正常交互中的“被動數(shù)據(jù)”(本技術(shù)“被動數(shù)據(jù)”指大語音模型基于預(yù)設(shè)的算法和訓(xùn)練數(shù)據(jù)與用戶交互過程中的數(shù)據(jù)，如與智能助手的自然對話或語音)，然而在僅僅分析“被動數(shù)據(jù)”過程中存在因?yàn)橛脩糁鲃有缘谋Ａ艋蛘唠S機(jī)性的原因?qū)е碌牟荒苡行Й@取用戶的情緒的情況，這種問題的本質(zhì)為用戶主動性的保留或數(shù)據(jù)量不夠，比如用戶可能因社交禮儀、隱私顧慮等主動隱藏真實(shí)情緒(如在客服對話中壓抑憤怒)，導(dǎo)致語音數(shù)據(jù)無法反映真實(shí)情緒狀態(tài)，這種的用戶即主動性的保留，被動數(shù)據(jù)中特定情緒(如恐懼、驚訝)出現(xiàn)頻率低，模型難以學(xué)習(xí)復(fù)雜情緒特征，尤其在用戶情緒表達(dá)含蓄時(shí)識別準(zhǔn)確率顯著下降，這樣的即數(shù)據(jù)量不夠造成的，所以現(xiàn)有的技術(shù)面對這種情況，不能識別用戶的情緒。

技術(shù)實(shí)現(xiàn)思路

1、針對現(xiàn)有技術(shù)的不足，本發(fā)明提供了基于ai和語音數(shù)據(jù)的用戶情緒識別方法，解決了現(xiàn)有的問題。

2、為實(shí)現(xiàn)以上目的，本發(fā)明通過以下技術(shù)方案予以實(shí)現(xiàn)：

3、一方面本發(fā)明公開基于ai和語音數(shù)據(jù)的用戶情緒識別方法，包括：

4、基于ai和語音數(shù)據(jù)的用戶情緒識別方法，包括步驟：基于ai與用戶進(jìn)行自然語言對話或語音交互，獲取自然語言對話或語音交互過程中“被動數(shù)據(jù)”，通過情緒識別模型識別并且獲取用戶的情緒；

5、當(dāng)情緒識別模型檢測到情緒不滿足判別閾值時(shí)，觸發(fā)對用戶的第一層次情緒誘導(dǎo)，在與用戶進(jìn)行自然語言對話或語音交互過程中增加第一層次情緒誘導(dǎo)數(shù)據(jù)；

6、如果情緒識別模型檢測到仍然情緒不滿足判別閾值時(shí)，則，觸發(fā)對用戶的第二層次情緒誘導(dǎo)，在與用戶進(jìn)行自然語言對話或語音交互過程中增加第二層次情緒誘導(dǎo)數(shù)據(jù)；

7、如果情緒識別模型檢測到情緒仍然不滿足判別閾值時(shí)；則，觸發(fā)對用戶的第三層次情緒誘導(dǎo)，進(jìn)行多模態(tài)輔助分析，在主動誘導(dǎo)后完成情緒識別模型對用戶情緒識別。

8、進(jìn)一步，計(jì)算判別閾值為，通過softmax函數(shù)生成候選情緒類別概率分布，獲取最大概率值、次大概率值、類別區(qū)分度，判別閾值即加權(quán)融合概率值與區(qū)分度的綜合置信度。

9、進(jìn)一步，基于ai與用戶進(jìn)行自然語言對話或語音交互，獲取自然語言對話或語音交互過程中“被動數(shù)據(jù)”具體的包括，同步采集用戶的基礎(chǔ)屬性、交互元數(shù)據(jù)、實(shí)時(shí)行為特征；

10、對于語音交互通過端點(diǎn)檢測分割有效語音片段，提取梅爾頻率倒譜系數(shù)、基頻范圍、共振峰頻率；通過預(yù)訓(xùn)練語音識別模型將語音轉(zhuǎn)換為文本，同時(shí)輸出字級時(shí)間戳；

11、進(jìn)行分詞，標(biāo)注情感極性詞匯和語氣詞，計(jì)算文本情感傾向得分；

12、統(tǒng)計(jì)文本熵值、重復(fù)詞頻率、標(biāo)點(diǎn)符號密度；將處理后的被動數(shù)據(jù)存入分布式數(shù)據(jù)庫。

13、進(jìn)一步，通過情緒識別模型識別并且獲取用戶的情緒包括：

14、將被動數(shù)據(jù)處理后的語音聲學(xué)特征與韻律特征進(jìn)行拼接，形成多維語音特征向量；

15、對連續(xù)語音片段，使用滑動窗口生成時(shí)序特征序列，輸入雙向lstm網(wǎng)絡(luò)捕捉情緒變化的時(shí)間依賴關(guān)系；

16、將文本情感傾向得分、情緒觸發(fā)詞密度、標(biāo)點(diǎn)符號密度、文本熵值組成多維文本特征向量；

17、對多輪對話文本，通過transformer模型生成上下文嵌入向量，捕捉長距離語義依賴；

18、將語音時(shí)序特征向量與文本上下文嵌入向量通過全連接層進(jìn)行維度對齊，采用拼接生成多模態(tài)聯(lián)合特征；

19、使用多層cnn對多模態(tài)聯(lián)合特征進(jìn)行頻域-時(shí)域特征提取，生成高維抽象特征；

20、通過softmax函數(shù)輸出多類基礎(chǔ)情緒的概率分布；

21、生成當(dāng)前對話的主導(dǎo)情緒類別、類別概率分布向量；

22、基于主導(dǎo)情緒類別，從聯(lián)合特征中提取對應(yīng)情緒的強(qiáng)度參數(shù)、持續(xù)時(shí)間參數(shù)；

23、通過全連接層輸出情緒參數(shù)向量；

24、取softmax輸出的最大概率值，作為模型對主導(dǎo)情緒類別的判斷；

25、計(jì)算最大概率與次大概率的差值，按固定權(quán)重融合概率置信度與區(qū)分度置信度，形成0-1區(qū)間的綜合判斷值；

26、最終輸出情緒識別結(jié)果，情緒識別結(jié)果包含主導(dǎo)情緒類別、概率分布、情緒強(qiáng)度、持續(xù)時(shí)間、綜合置信度。

27、進(jìn)一步，在與用戶進(jìn)行自然語言對話或語音交互過程中增加第一層次情緒誘導(dǎo)數(shù)據(jù)包括：

28、交互中進(jìn)行開放式提問，不進(jìn)行限定性回答，引導(dǎo)用戶自主表達(dá)情緒，進(jìn)行多模態(tài)場景適配，基于用戶屬性調(diào)整交互復(fù)雜度。

29、進(jìn)一步，觸發(fā)對用戶的第二層次情緒誘導(dǎo)，在與用戶進(jìn)行自然語言對話或語音交互過程中增加第二層次情緒誘導(dǎo)數(shù)據(jù)包括：

30、基于第一層次情緒誘導(dǎo)反饋調(diào)整第二層次情緒誘導(dǎo)；依據(jù)情緒傾向推測進(jìn)行交互；對于語音交互根據(jù)用戶之前的語音特征，調(diào)整語音風(fēng)格，增加音效輔助；

31、對于文本場景交互，調(diào)整文本措辭，使用具感染力和親和力的詞匯，增加表情符號的使用頻率和多樣性；

32、對用戶畫像深度匹配，關(guān)聯(lián)歷史交互信息。

33、進(jìn)一步，觸發(fā)對用戶的第三層次情緒誘導(dǎo)，進(jìn)行多模態(tài)輔助分析包括：

34、對于語音模態(tài)交互，提取實(shí)時(shí)語音的基頻波動曲線、語速突變點(diǎn)、靜音時(shí)長占比，依據(jù)“實(shí)時(shí)語音的基頻波動曲線、語速突變點(diǎn)、靜音時(shí)長占比”調(diào)整后續(xù)誘導(dǎo)，提取韻律特征，識別潛在情緒傾向，依據(jù)韻律特征調(diào)整后續(xù)誘導(dǎo)。

35、進(jìn)一步，觸發(fā)對用戶的第三層次情緒誘導(dǎo)，進(jìn)行多模態(tài)輔助分析包括：

36、對于文本模態(tài)交互，解析情感觸發(fā)詞密度、文本熵值變化量、標(biāo)點(diǎn)符號異常情況，依據(jù)“情感觸發(fā)詞密度、文本熵值變化量、標(biāo)點(diǎn)符號異常情況”調(diào)整后續(xù)誘導(dǎo)，依據(jù)上下文語義關(guān)聯(lián)，調(diào)整后續(xù)誘導(dǎo)。

37、進(jìn)一步，在主動誘導(dǎo)后完成情緒識別模型對用戶情緒識別包括：

38、整合被動數(shù)據(jù)、第一層次誘導(dǎo)數(shù)據(jù)、第二層次誘導(dǎo)數(shù)據(jù)及第三層次多模態(tài)分析數(shù)據(jù)，形成包含時(shí)序依賴的長程交互特征序列；

39、將各輪誘導(dǎo)中的基頻波動曲線、語速變化、靜音間隔時(shí)序特征按對話輪次拼接，生成動態(tài)韻律特征矩陣；

40、提取多輪對話中的情感詞共現(xiàn)模式、標(biāo)點(diǎn)符號演變趨勢；

41、依據(jù)用戶基礎(chǔ)屬性、歷史交互行為及實(shí)時(shí)行為特征，對融合特征進(jìn)行加權(quán)調(diào)整；

42、對語音韻律特征和文本語義特征進(jìn)行維度對齊，生成多模態(tài)聯(lián)合特征向量，對多輪誘導(dǎo)形成的長文本，使用transformer模型生成包含對話歷史的上下文編碼，對長語音片段采用滑動窗口及雙向lstm捕捉情緒變化軌跡，形成多輪交互與多層處理的多模態(tài)時(shí)序融合數(shù)據(jù)，多模態(tài)時(shí)序融合數(shù)據(jù)輸入情緒識別模型輸出對用戶情緒識別的結(jié)果。

43、另外一方面本發(fā)明公開一種電子設(shè)備，包括：

44、至少一個處理器；以及

45、與所述至少一個處理器通信連接的存儲器；其中，

46、所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行上述的基于ai和語音數(shù)據(jù)的用戶情緒識別方法。

47、本發(fā)明的有益效果包括但不限于：本技術(shù)針對用戶主動隱藏情緒的場景通過三層誘導(dǎo)機(jī)制逐步挖掘隱性情緒，情緒識別準(zhǔn)確率提升，主動誘導(dǎo)機(jī)制大幅增加有效數(shù)據(jù)，具體通過三層遞進(jìn)式誘導(dǎo)策略(初級通用引導(dǎo)→中級畫像適配→深度多模態(tài)分析)，主動補(bǔ)充用戶主動保留或隱含的情緒數(shù)據(jù)，使情緒明確的有效樣本占比提升，尤其在客服、心理咨詢等需要深度情緒交互的場景中應(yīng)用前景極佳。