本發(fā)明涉及信息抽取，特別涉及基于雙元自注意力驅(qū)動(dòng)的角色與詞語表示學(xué)習(xí)方法。
背景技術(shù)：
1、篇章級(jí)事件論元抽取是信息抽取中的一項(xiàng)關(guān)鍵任務(wù)，從篇章中抽取事件相關(guān)的論元，并準(zhǔn)確識(shí)別其角色?，F(xiàn)有的基于角色的跨度選擇策略主要通過預(yù)訓(xùn)練語言模型和提示捕獲角色表示和篇章表示，從而構(gòu)建跨度選擇器為每個(gè)角色預(yù)測(cè)跨度。然而，現(xiàn)有方法沒有充分挖掘事件類型中各角色的語義與篇章中充當(dāng)論元的各詞語語義之間的關(guān)聯(lián)。
技術(shù)實(shí)現(xiàn)思路
1、鑒于上述狀況，本發(fā)明的主要目的是為了提出基于雙元自注意力驅(qū)動(dòng)的角色與詞語表示學(xué)習(xí)方法，以解決上述技術(shù)問題。
2、本發(fā)明提出一種基于雙元自注意力驅(qū)動(dòng)的角色與詞語表示學(xué)習(xí)方法，所述方法包括如下步驟：
3、步驟1、基于線性變換機(jī)制與門控神經(jīng)網(wǎng)絡(luò)構(gòu)建特征融合模塊，基于雙向自注意力機(jī)制分別構(gòu)建角色-詞語自注意力模塊和詞語-角色自注意力模塊，特征融合模塊、角色-詞語自注意力模塊、詞語-角色自注意力模塊、多層感知機(jī)和跨度預(yù)測(cè)器構(gòu)成預(yù)測(cè)模型；
4、步驟2、輸入文本并給定篇章，對(duì)篇章進(jìn)行句法與語義分析，結(jié)合預(yù)訓(xùn)練語言模型提取多層級(jí)特征，得到不同的語義嵌入；
5、步驟3、利用特征融合模塊對(duì)不同的語義嵌入捕獲角色的模式語義和詞語的上下文語義的跨度關(guān)聯(lián)，得到角色的初始嵌入表示和詞語的初始嵌入表示；
6、步驟4、基于角色-詞語自注意力模塊，利用雙向自注意力機(jī)制計(jì)算角色-詞語的注意力權(quán)重，并對(duì)角色的初始嵌入表示進(jìn)行更新，得到更新的角色嵌入表示；
7、基于詞語-角色自注意力模塊，利用雙向自注意力機(jī)制計(jì)算詞語-角色的注意力權(quán)重，并對(duì)詞語的初始嵌入表示進(jìn)行更新，得到更新的詞語嵌入表示；
8、步驟5、對(duì)更新的角色嵌入表示和更新的詞語嵌入表示進(jìn)行交互迭代，分別得到當(dāng)前交互迭代后的角色嵌入表示和當(dāng)前交互迭代后的詞語嵌入表示；
9、步驟6、以迭代的方式重復(fù)步驟5，得到最終的角色嵌入表示和最終的詞語嵌入表示；
10、步驟7、將最終的角色嵌入表示輸入至多層感知機(jī)中進(jìn)行融合更新，并利用跨度預(yù)測(cè)器進(jìn)行預(yù)測(cè)，得到預(yù)測(cè)結(jié)果；
11、基于預(yù)測(cè)結(jié)果構(gòu)建交叉熵?fù)p失，利用交叉損失對(duì)預(yù)測(cè)模型進(jìn)行優(yōu)化，得到優(yōu)化后的預(yù)測(cè)模型，利用優(yōu)化后的預(yù)測(cè)模型得到最終的預(yù)測(cè)結(jié)果。
12、與現(xiàn)有技術(shù)相比，本發(fā)明有益效果如下：
13、1、本發(fā)明提出雙元自注意力驅(qū)動(dòng)的嵌入學(xué)習(xí)框架：利用角色-詞語和詞語-角色的雙向查詢機(jī)制，深入挖掘模式層面的角色與實(shí)例層面的篇章(詞語)之間的交互語義；通過雙元自注意力機(jī)制，模型能夠更加準(zhǔn)確地從篇章(詞語)中捕捉角色的語義信息、從事件模式(角色)中捕捉詞語在事件中扮演角色的語義信息，并分別用于更新角色嵌入和篇章(詞語)嵌入；
14、2、本發(fā)明設(shè)計(jì)了查詢向量與鍵向量及其交互迭代更新策略：針對(duì)兩個(gè)自注意力機(jī)制的查詢，結(jié)合角色的關(guān)鍵特征和篇章中詞語的上下文語義信息，設(shè)計(jì)了查詢向量與鍵向量以及角色嵌入與詞語嵌入之間的交互迭代更新策略，有效地實(shí)現(xiàn)了雙元自注意力驅(qū)動(dòng)的嵌入學(xué)習(xí)方法；
15、3、本發(fā)明設(shè)計(jì)了融合嵌入學(xué)習(xí)框架和嵌入學(xué)習(xí)方法的模型及系統(tǒng)，訓(xùn)練學(xué)習(xí)有效的角色與詞語表示。
16、本發(fā)明的附加方面與優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)施例了解到。
1.一種基于雙元自注意力驅(qū)動(dòng)的角色與詞語表示學(xué)習(xí)方法，其特征在于，所述方法包括如下步驟：
2.根據(jù)權(quán)利要求1所述的基于雙元自注意力驅(qū)動(dòng)的角色與詞語表示學(xué)習(xí)方法，其特征在于，在所述步驟2中，輸入文本并給定篇章，對(duì)篇章進(jìn)行句法與語義分析，結(jié)合預(yù)訓(xùn)練語言模型提取多層級(jí)特征，得到不同的語義嵌入，具體包括如下步驟：
3.根據(jù)權(quán)利要求2所述的基于雙元自注意力驅(qū)動(dòng)的角色與詞語表示學(xué)習(xí)方法，其特征在于，在所述步驟3中，利用特征融合模塊對(duì)不同的語義嵌入捕獲角色的模式語義和詞語的上下文語義的跨度關(guān)聯(lián)，得到角色的初始嵌入表示和詞語的初始嵌入表示，具體包括如下步驟：
4.根據(jù)權(quán)利要求3所述的基于雙元自注意力驅(qū)動(dòng)的角色與詞語表示學(xué)習(xí)方法，其特征在于，在所述步驟4中，利用雙元自注意力機(jī)制計(jì)算角色-詞語的注意力權(quán)重，并對(duì)角色的初始嵌入表示進(jìn)行更新，得到更新的角色嵌入表示，具體包括如下步驟：
5.根據(jù)權(quán)利要求4所述的基于雙元自注意力驅(qū)動(dòng)的角色與詞語表示學(xué)習(xí)方法，其特征在于，利用雙元自注意力機(jī)制計(jì)算詞語-角色的注意力權(quán)重，并對(duì)詞語的初始嵌入表示進(jìn)行更新，得到更新的詞語嵌入表示，具體包括如下步驟：
6.根據(jù)權(quán)利要求5所述的基于雙元自注意力驅(qū)動(dòng)的角色與詞語表示學(xué)習(xí)方法，其特征在于，在所述步驟5中，對(duì)更新的角色嵌入表示和更新的詞語嵌入表示進(jìn)行交互迭代，分別得到當(dāng)前交互迭代后的角色嵌入表示和當(dāng)前交互迭代后的詞語嵌入表示，具體包括如下步驟：
7.根據(jù)權(quán)利要求6所述的基于雙元自注意力驅(qū)動(dòng)的角色與詞語表示學(xué)習(xí)方法，其特征在于，對(duì)更新的角色在跨度開始位置預(yù)測(cè)器中的查詢向量和更新的詞語在跨度開始位置預(yù)測(cè)器中的查詢向量，分別進(jìn)行線性變換處理，得到迭代交互后角色在跨度開始位置預(yù)測(cè)器中的查詢向量和迭代交互后詞語在跨度開始位置預(yù)測(cè)器中的查詢向量，對(duì)應(yīng)過程存在的關(guān)系式如下：
8.根據(jù)權(quán)利要求7所述的基于雙元自注意力驅(qū)動(dòng)的角色與詞語表示學(xué)習(xí)方法，其特征在于，在所述步驟6中，以迭代的方式重復(fù)步驟5，得到最終的角色嵌入表示和最終的詞語嵌入表示，具體包括如下步驟：
9.根據(jù)權(quán)利要求8所述的基于雙元自注意力驅(qū)動(dòng)的角色與詞語表示學(xué)習(xí)方法，其特征在于，在所述步驟7中，將最終的角色嵌入表示輸入至多層感知機(jī)中進(jìn)行融合更新，并利用跨度預(yù)測(cè)器進(jìn)行預(yù)測(cè)，得到預(yù)測(cè)結(jié)果，具體包括如下步驟：
10.根據(jù)權(quán)利要求9所述的基于雙元自注意力驅(qū)動(dòng)的角色與詞語表示學(xué)習(xí)方法，其特征在于，基于預(yù)測(cè)結(jié)果構(gòu)建交叉熵?fù)p失，對(duì)應(yīng)過程存在的關(guān)系式如下：