本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，具體涉及一種基于遷移學(xué)習(xí)的智能導(dǎo)購(gòu)語(yǔ)音識(shí)別方法及系統(tǒng)。

背景技術(shù)：

1、隨著現(xiàn)代零售業(yè)的發(fā)展，大型綜合性超市（商超）已成為城市居民日常購(gòu)物的主要場(chǎng)所。這類(lèi)商超通常占地面積廣闊，商品種類(lèi)數(shù)以萬(wàn)計(jì)，涵蓋食品、生鮮、日用百貨、家電等多個(gè)門(mén)類(lèi)，并且商品信息（如價(jià)格、促銷(xiāo)活動(dòng)、庫(kù)存、具體擺放位置）處于持續(xù)動(dòng)態(tài)變化之中。顧客在如此復(fù)雜的環(huán)境中購(gòu)物時(shí)，常常面臨信息不對(duì)稱(chēng)的困境：難以快速找到所需商品的確切位置，不易實(shí)時(shí)獲知最新的價(jià)格或參與優(yōu)惠活動(dòng)，對(duì)琳瑯滿(mǎn)目的商品特別是新上市的產(chǎn)品缺乏了解。為了提升顧客購(gòu)物體驗(yàn)和商場(chǎng)運(yùn)營(yíng)效率，引入智能化的導(dǎo)購(gòu)服務(wù)成為行業(yè)趨勢(shì)?；谡Z(yǔ)音交互的智能導(dǎo)購(gòu)系統(tǒng)，通過(guò)部署在服務(wù)臺(tái)、自助終端或移動(dòng)機(jī)器人上的交互界面，允許顧客以最自然的方式提出詢(xún)問(wèn)，理論上能提供比傳統(tǒng)觸摸屏查詢(xún)或有限的人工導(dǎo)購(gòu)更便捷、高效的服務(wù)。

2、然而，要實(shí)現(xiàn)真正智能、準(zhǔn)確、流暢的語(yǔ)音導(dǎo)購(gòu)，核心挑戰(zhàn)在于系統(tǒng)對(duì)顧客自然語(yǔ)言查詢(xún)的深度理解能力。商超環(huán)境下的語(yǔ)音查詢(xún)具有顯著特點(diǎn)：首先，涉及海量的、不斷更新的商品名、品牌名、規(guī)格型號(hào)、促銷(xiāo)術(shù)語(yǔ)等領(lǐng)域特定詞匯，通用語(yǔ)音識(shí)別和自然語(yǔ)言處理模型往往存在嚴(yán)重的詞表外（out-of-vocabulary，oov）問(wèn)題和語(yǔ)義理解偏差；其次，顧客的提問(wèn)方式靈活多樣，口語(yǔ)化表達(dá)、省略、指代、甚至模糊不清的描述普遍存在；再者，查詢(xún)意圖復(fù)雜，可能同時(shí)涉及價(jià)格、位置、屬性、評(píng)價(jià)、推薦等多個(gè)方面。因此，系統(tǒng)不僅要準(zhǔn)確地將語(yǔ)音轉(zhuǎn)換為文本（asr），更關(guān)鍵的是要精確地理解文本背后的意圖并抽取出所有關(guān)鍵信息實(shí)體（nlu）。直接從零開(kāi)始為每個(gè)商超訓(xùn)練一個(gè)能應(yīng)對(duì)上述挑戰(zhàn)的復(fù)雜nlu模型需要海量的、高質(zhì)量的領(lǐng)域標(biāo)注數(shù)據(jù)，成本高昂且不現(xiàn)實(shí)。因此，利用在海量通用文本上預(yù)訓(xùn)練好的大型語(yǔ)言模型（如bert等），并通過(guò)遷移學(xué)習(xí)的方式，使用相對(duì)少量的領(lǐng)域標(biāo)注數(shù)據(jù)進(jìn)行微調(diào)，使其快速適應(yīng)商超導(dǎo)購(gòu)這一特定領(lǐng)域，成為當(dāng)前最有前景的技術(shù)路徑。

3、當(dāng)前，基于遷移學(xué)習(xí)的微調(diào)技術(shù)已廣泛應(yīng)用于各種nlp任務(wù)。在智能導(dǎo)購(gòu)領(lǐng)域，也開(kāi)始有嘗試?yán)妙A(yù)訓(xùn)練模型進(jìn)行nlu優(yōu)化。然而，在微調(diào)過(guò)程中，學(xué)習(xí)率的設(shè)定是一個(gè)關(guān)鍵且棘手的環(huán)節(jié)?，F(xiàn)有技術(shù)中，普遍采用的方法包括：(1)使用一個(gè)固定的、非常小的學(xué)習(xí)率進(jìn)行全局微調(diào)；(2)采用預(yù)設(shè)的學(xué)習(xí)率衰減策略，如線(xiàn)性衰減、指數(shù)衰減或按步數(shù)衰減。這些方法的主要缺陷在于其調(diào)整方式未能充分考慮商超導(dǎo)購(gòu)場(chǎng)景下訓(xùn)練數(shù)據(jù)的動(dòng)態(tài)性和異質(zhì)性。

4、具體而言，當(dāng)訓(xùn)練數(shù)據(jù)中出現(xiàn)新上市的商品名或罕見(jiàn)的促銷(xiāo)術(shù)語(yǔ)時(shí)，模型需要以相對(duì)較大的步長(zhǎng)快速學(xué)習(xí)這些新知識(shí)；而當(dāng)處理非常常見(jiàn)、簡(jiǎn)單的查詢(xún)（如“蘋(píng)果多少錢(qián)”）時(shí)，則需要以較小的步長(zhǎng)進(jìn)行穩(wěn)定微調(diào)，避免破壞已學(xué)好的模式。固定的學(xué)習(xí)率無(wú)法同時(shí)滿(mǎn)足這兩種需求，可能導(dǎo)致對(duì)新知識(shí)學(xué)習(xí)緩慢，或者在簡(jiǎn)單數(shù)據(jù)上過(guò)度調(diào)整引起震蕩。預(yù)設(shè)的衰減策略與訓(xùn)練數(shù)據(jù)內(nèi)容無(wú)關(guān)，無(wú)法實(shí)時(shí)響應(yīng)訓(xùn)練過(guò)程中遇到的具體挑戰(zhàn)。雖然存在一些通用的自適應(yīng)學(xué)習(xí)率算法（如adam、rmsprop等），它們主要根據(jù)歷史梯度信息調(diào)整學(xué)習(xí)率，但并未顯式地結(jié)合領(lǐng)域任務(wù)的特定特征。因此，現(xiàn)有學(xué)習(xí)率調(diào)整策略在應(yīng)用于商超導(dǎo)購(gòu)nlu模型微調(diào)時(shí)，往往難以達(dá)到最優(yōu)的收斂速度、穩(wěn)定性和最終的模型性能，限制了智能導(dǎo)購(gòu)系統(tǒng)理解能力的進(jìn)一步提升。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)上述固定的學(xué)習(xí)率無(wú)法同時(shí)滿(mǎn)足兩種需求的問(wèn)題，在第一方面中本發(fā)明提出了一種基于遷移學(xué)習(xí)的智能導(dǎo)購(gòu)語(yǔ)音識(shí)別方法，包括：獲取顧客的詢(xún)問(wèn)語(yǔ)音進(jìn)行自動(dòng)語(yǔ)音識(shí)別，得到初始識(shí)別文本；基于預(yù)訓(xùn)練語(yǔ)言模型對(duì)所述初始識(shí)別文本進(jìn)行自然語(yǔ)言理解，以識(shí)別顧客的查詢(xún)意圖及查詢(xún)文本中的實(shí)體；根據(jù)所述查詢(xún)意圖和實(shí)體構(gòu)建查詢(xún)指令并在商超商品信息數(shù)據(jù)庫(kù)中檢索；基于檢索到的相關(guān)信息，生成回復(fù)內(nèi)容并通過(guò)語(yǔ)音或/和界面進(jìn)行輸出；使用人工標(biāo)注數(shù)據(jù)通過(guò)反向傳播和參數(shù)更新調(diào)整所述預(yù)訓(xùn)練語(yǔ)言模型的參數(shù)；所述參數(shù)更新包括自適應(yīng)學(xué)習(xí)率，有：

2、；

3、其中表示基礎(chǔ)學(xué)習(xí)率；表示批次的損失值；表示批次之前的損失平均值；表示極小整數(shù)；tanh表示雙曲正切函數(shù)；表示批次的綜合適應(yīng)指標(biāo)；表示設(shè)定縮放因子；所述綜合適應(yīng)指標(biāo)與實(shí)體新穎度評(píng)分呈正相關(guān)，與預(yù)測(cè)置信度呈負(fù)相關(guān)；當(dāng)前訓(xùn)練批次所有實(shí)體出現(xiàn)頻率的倒數(shù)均值構(gòu)成實(shí)體新穎度評(píng)分；當(dāng)前訓(xùn)練批次所有查詢(xún)意圖的預(yù)測(cè)概率最大值與所述實(shí)體的標(biāo)簽概率的算術(shù)平均值構(gòu)成預(yù)測(cè)置信度。

4、本發(fā)明方法通過(guò)結(jié)合自動(dòng)語(yǔ)音識(shí)別、基于預(yù)訓(xùn)練模型的自然語(yǔ)言理解、數(shù)據(jù)庫(kù)查詢(xún)與回復(fù)生成，實(shí)現(xiàn)了完整的智能語(yǔ)音導(dǎo)購(gòu)流程，尤其是在自然語(yǔ)言理解模型的微調(diào)階段，創(chuàng)新性地采用了一種特定的自適應(yīng)學(xué)習(xí)率，該學(xué)習(xí)率不僅考慮了常規(guī)的訓(xùn)練損失變化，更融入了針對(duì)商超導(dǎo)購(gòu)場(chǎng)景定制的綜合適應(yīng)指標(biāo)，該指標(biāo)直接關(guān)聯(lián)實(shí)體新穎度和模型預(yù)測(cè)置信度；相比于現(xiàn)有技術(shù)中采用固定學(xué)習(xí)率、預(yù)設(shè)衰減策略或僅基于梯度歷史的通用自適應(yīng)算法，本方法能夠根據(jù)當(dāng)前批次數(shù)據(jù)的實(shí)際新穎程度和模型對(duì)其理解的把握程度，動(dòng)態(tài)地、細(xì)粒度地調(diào)整學(xué)習(xí)步長(zhǎng)，當(dāng)遇到新商品或模型不確定的情況時(shí)能更快學(xué)習(xí)適應(yīng)，當(dāng)處理常見(jiàn)且易于理解的查詢(xún)時(shí)則能穩(wěn)定優(yōu)化，顯著提升了模型在商品信息動(dòng)態(tài)變化的商超環(huán)境中對(duì)各類(lèi)查詢(xún)的理解準(zhǔn)確率、魯棒性和收斂效率，克服了現(xiàn)有技術(shù)學(xué)習(xí)率調(diào)整策略缺乏場(chǎng)景感知能力的缺陷。

5、進(jìn)一步地，所述綜合適應(yīng)指標(biāo)的計(jì)算方法具體為：

6、；

7、其中表示批次的綜合適應(yīng)指標(biāo)；表示批次的實(shí)體新穎度評(píng)分；表示批次的預(yù)測(cè)置信度。

8、進(jìn)一步地，所述實(shí)體新穎度評(píng)分的計(jì)算方法具體為：

9、；

10、其中表示批次的實(shí)體新穎度評(píng)分；表示批次中包含的實(shí)體總數(shù)；表示實(shí)體在訓(xùn)練過(guò)程中出現(xiàn)的頻率；表示自然對(duì)數(shù)函數(shù)。

11、本發(fā)明具體定義了實(shí)體新穎度評(píng)分的計(jì)算方式為批次內(nèi)實(shí)體逆對(duì)數(shù)頻率相關(guān)值的平均，這種方式相比于簡(jiǎn)單的逆頻率或二元新舊判斷，能夠更平滑且有效地量化實(shí)體的新穎程度，對(duì)極其罕見(jiàn)的實(shí)體給予最高的新穎度權(quán)重，同時(shí)也能區(qū)分常見(jiàn)實(shí)體與非常常見(jiàn)實(shí)體之間的差異，提供了更細(xì)粒度的、與實(shí)體出現(xiàn)頻次非線(xiàn)性相關(guān)的信號(hào)，用于指導(dǎo)學(xué)習(xí)率適應(yīng)性調(diào)整。

12、進(jìn)一步地，所述預(yù)測(cè)置信度的計(jì)算方法具體為：

13、；

14、其中表示批次的預(yù)測(cè)置信度；表示批次中樣本的數(shù)量；表示批次中樣本對(duì)應(yīng)token數(shù)量的平均值；表示樣本的意圖預(yù)測(cè)概率最大值；表示樣本中第個(gè)token的實(shí)體標(biāo)簽概率。

15、本發(fā)明具體規(guī)定了預(yù)測(cè)置信度通過(guò)綜合平均批次內(nèi)樣本的意圖預(yù)測(cè)最大概率和所有token的實(shí)體標(biāo)簽概率來(lái)計(jì)算，這種方式全面地反映了模型在當(dāng)前批次上對(duì)意圖分類(lèi)和序列標(biāo)注兩個(gè)子任務(wù)整體的預(yù)測(cè)把握程度，相比于僅考慮意圖置信度或僅考慮最低/平均實(shí)體置信度的單一指標(biāo)，提供了更全局、更魯棒的置信度評(píng)估，使得學(xué)習(xí)率調(diào)整能更準(zhǔn)確地依據(jù)模型對(duì)整個(gè)預(yù)測(cè)任務(wù)的綜合信心水平進(jìn)行。

16、進(jìn)一步地，將bert-base-chinese模型作為基礎(chǔ)自然語(yǔ)言理解模型，采集所述人工標(biāo)注數(shù)據(jù)基于所述基礎(chǔ)自然語(yǔ)言理解模型進(jìn)行端到端的有監(jiān)督訓(xùn)練得到所述預(yù)訓(xùn)練語(yǔ)言模型。

17、本發(fā)明通過(guò)明確選用經(jīng)過(guò)廣泛驗(yàn)證的bert-base-chinese模型作為基礎(chǔ)模型，并采用端到端的有監(jiān)督訓(xùn)練方式進(jìn)行微調(diào)，確保了nlu模塊能夠有效利用強(qiáng)大的通用語(yǔ)言表示能力，并通過(guò)整體參數(shù)的調(diào)整充分適應(yīng)商超導(dǎo)購(gòu)領(lǐng)域的特定語(yǔ)言模式和任務(wù)需求，相比于選用較弱的基礎(chǔ)模型或僅調(diào)整部分參數(shù)的微調(diào)方法，有望獲得更優(yōu)的領(lǐng)域適應(yīng)性能和更高的理解準(zhǔn)確率。

18、進(jìn)一步地，將人工編寫(xiě)的模擬查詢(xún)、商超商品目錄、促銷(xiāo)活動(dòng)描述以及樓層貨架布局信息作為原始文本，對(duì)所述原始文本使用bio標(biāo)注體系得到所述人工標(biāo)注數(shù)據(jù)。

19、本發(fā)明通過(guò)具體指明用于微調(diào)的人工標(biāo)注數(shù)據(jù)來(lái)源于模擬查詢(xún)、商品目錄、促銷(xiāo)描述和貨架布局等高度相關(guān)的原始文本，并采用標(biāo)準(zhǔn)的bio標(biāo)注體系，保證了訓(xùn)練數(shù)據(jù)的領(lǐng)域針對(duì)性和標(biāo)注規(guī)范性，使模型能直接學(xué)習(xí)商超場(chǎng)景下的真實(shí)語(yǔ)言表達(dá)和實(shí)體結(jié)構(gòu)，相比于使用通用語(yǔ)料或標(biāo)注不規(guī)范的數(shù)據(jù)進(jìn)行訓(xùn)練，能顯著提升nlu模型在實(shí)際應(yīng)用中的準(zhǔn)確性和可靠性。

20、進(jìn)一步地，還包括使用基于dnn的去噪模型對(duì)所述顧客的詢(xún)問(wèn)語(yǔ)音進(jìn)行預(yù)處理。

21、在第二方面中，本發(fā)明提供了一種基于遷移學(xué)習(xí)的智能導(dǎo)購(gòu)語(yǔ)音識(shí)別系統(tǒng)，包括：語(yǔ)音輸入單元：用于接收顧客的語(yǔ)音指令；語(yǔ)音識(shí)別單元：連接語(yǔ)音輸入單元，用于將所述語(yǔ)音指令轉(zhuǎn)換為文本；自然語(yǔ)言理解單元：與所述語(yǔ)音識(shí)別單元連接基于預(yù)訓(xùn)練語(yǔ)言模型對(duì)所述文本進(jìn)行處理，以識(shí)別顧客的查詢(xún)意圖及關(guān)鍵實(shí)體；所述自然語(yǔ)言理解單元包含的所述預(yù)訓(xùn)練語(yǔ)言模型是根據(jù)基于遷移學(xué)習(xí)的智能導(dǎo)購(gòu)語(yǔ)音識(shí)別方法中的微調(diào)步驟進(jìn)行訓(xùn)練配置的；信息處理與查詢(xún)單元：連接自然語(yǔ)言理解單元和商品信息數(shù)據(jù)庫(kù)，用于構(gòu)建數(shù)據(jù)庫(kù)查詢(xún)、執(zhí)行查詢(xún)并檢索信息；商品信息數(shù)據(jù)庫(kù)：存儲(chǔ)商超內(nèi)所有商品的詳細(xì)信息，包括實(shí)時(shí)價(jià)格、促銷(xiāo)信息和精確的貨架位置信息；回復(fù)生成單元：連接信息處理與查詢(xún)單元，用于根據(jù)檢索結(jié)果生成擬人化的回復(fù)內(nèi)容；輸出單元：連接回復(fù)生成單元，用于通過(guò)語(yǔ)音或/和界面輸出所述回復(fù)內(nèi)容。

22、進(jìn)一步地，所述輸出單元包括以下至少一項(xiàng)：語(yǔ)音合成器和揚(yáng)聲器，用于將所述回復(fù)內(nèi)容合成為語(yǔ)音并進(jìn)行播報(bào)；顯示屏，用于展示所述回復(fù)內(nèi)容的文本、關(guān)聯(lián)圖像或根據(jù)商品位置信息生成的導(dǎo)航路徑。

23、進(jìn)一步地，所述語(yǔ)音輸入單元包括至少包括一個(gè)麥克風(fēng)陣列用于接收顧客的語(yǔ)音指令。

24、本發(fā)明的技術(shù)效果為：

25、本發(fā)明的核心創(chuàng)新內(nèi)容集中體現(xiàn)在對(duì)預(yù)訓(xùn)練語(yǔ)言模型進(jìn)行商超導(dǎo)購(gòu)領(lǐng)域nlu任務(wù)微調(diào)時(shí)所采用的一種新穎的多階段自適應(yīng)學(xué)習(xí)率調(diào)整機(jī)制。區(qū)別于現(xiàn)有技術(shù)中采用固定學(xué)習(xí)率、預(yù)設(shè)衰減策略或僅依賴(lài)梯度歷史的通用自適應(yīng)算法，本發(fā)明提出的機(jī)制深度結(jié)合了商超導(dǎo)購(gòu)場(chǎng)景的特性。首先，通過(guò)計(jì)算批次內(nèi)實(shí)體的相對(duì)新穎度來(lái)量化新知識(shí)的出現(xiàn)程度；其次，評(píng)估模型對(duì)當(dāng)前批次預(yù)測(cè)的整體置信度以判斷模型對(duì)當(dāng)前輸入的掌握情況；接著，將這兩個(gè)基于場(chǎng)景特征的指標(biāo)融合成一個(gè)綜合適應(yīng)指標(biāo)，該指標(biāo)反映了當(dāng)前批次數(shù)據(jù)在“新穎性”與“模型確定性”維度上的適應(yīng)需求；最后，將此場(chǎng)景適應(yīng)信號(hào)與衡量當(dāng)前批次相對(duì)學(xué)習(xí)難度的因子相結(jié)合，通過(guò)一個(gè)平滑有界的函數(shù)共同調(diào)制基礎(chǔ)學(xué)習(xí)率。這種機(jī)制使得學(xué)習(xí)率能夠同時(shí)響應(yīng)訓(xùn)練過(guò)程中的即時(shí)困難度和數(shù)據(jù)本身的領(lǐng)域特性（如新舊知識(shí)、預(yù)測(cè)把握度），實(shí)現(xiàn)更智能、更細(xì)致的學(xué)習(xí)步長(zhǎng)控制，從而顯著提升模型在動(dòng)態(tài)商超環(huán)境下的學(xué)習(xí)效率、穩(wěn)定性和最終性能。