本發(fā)明屬于時(shí)序知識(shí)圖譜和自然語(yǔ)言處理，具體涉及一種用于時(shí)態(tài)知識(shí)問(wèn)答的時(shí)序知識(shí)圖譜檢索增強(qiáng)生成方法、裝置及介質(zhì)。

背景技術(shù)：

1、現(xiàn)實(shí)世界的知識(shí)具有動(dòng)態(tài)性和時(shí)效性，許多事實(shí)會(huì)隨著時(shí)間推移而發(fā)生變化或更新。在這種背景下，僅依賴靜態(tài)知識(shí)庫(kù)或一次性學(xué)習(xí)到的知識(shí)顯然不足以應(yīng)對(duì)現(xiàn)實(shí)需求。

2、近年來(lái)，大語(yǔ)言模型(large?language?models，llms)在一些語(yǔ)義理解和生成任務(wù)中表現(xiàn)出色，但在處理復(fù)雜時(shí)態(tài)問(wèn)題時(shí)仍面臨一些挑戰(zhàn)。當(dāng)任務(wù)涉及復(fù)雜的時(shí)間推理時(shí)，llms容易提供錯(cuò)誤的結(jié)果。例如，在回答“鮑勃·哈弗森之后的眾議院議長(zhǎng)是誰(shuí)？”，首先需要確定鮑勃·哈弗森擔(dān)任眾議院議長(zhǎng)的時(shí)間，然后檢索在該時(shí)間之后擔(dān)任眾議院議長(zhǎng)的人。在第一個(gè)步驟中，由于訓(xùn)練數(shù)據(jù)的局限性和模型知識(shí)的參數(shù)化不確定性，容易生成錯(cuò)誤或不存在的信息(幻覺(jué))；在第二個(gè)步驟中，由于llms對(duì)時(shí)間約束的理解和邏輯推理能力不足，可能出現(xiàn)時(shí)間篩選不準(zhǔn)確的問(wèn)題，從而導(dǎo)致回答錯(cuò)誤。在這種時(shí)態(tài)推理任務(wù)中，任何對(duì)時(shí)態(tài)知識(shí)的誤判或在推理過(guò)程中的錯(cuò)誤，都可能導(dǎo)致錯(cuò)誤的結(jié)論。llms在時(shí)態(tài)推理中的局限性如下：

3、(1)大語(yǔ)言模型是通過(guò)學(xué)習(xí)大量數(shù)據(jù)中的知識(shí)來(lái)構(gòu)建一個(gè)參數(shù)化的內(nèi)部知識(shí)庫(kù)，無(wú)需直接訪問(wèn)外部知識(shí)庫(kù)。這使得模型無(wú)法在不重新訓(xùn)練的情況下擴(kuò)展或修改其知識(shí)。

4、(2)大語(yǔ)言模型基于最大概率生成輸出，進(jìn)行復(fù)雜推理的能力有限。在處理涉及多個(gè)步驟的復(fù)雜時(shí)序推理時(shí)，llms可能會(huì)在生成過(guò)程中積累錯(cuò)誤，導(dǎo)致推理的準(zhǔn)確性下降。

5、因此，提出一種能增強(qiáng)大語(yǔ)言模型的時(shí)態(tài)理解和推理能力方法，是具有現(xiàn)實(shí)研究意義的。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明目的：本發(fā)明提出了一種時(shí)序知識(shí)圖譜檢索增強(qiáng)生成方法、裝置及介質(zhì)，通過(guò)引入時(shí)序知識(shí)圖譜作為動(dòng)態(tài)知識(shí)的補(bǔ)充，結(jié)合歷史案例學(xué)習(xí)與邏輯推理優(yōu)化，有效增強(qiáng)了大語(yǔ)言模型的時(shí)態(tài)問(wèn)題回答能力。

2、技術(shù)方案：本發(fā)明所述的一種時(shí)序知識(shí)圖譜檢索增強(qiáng)生成方法，包括以下步驟：

3、(1)對(duì)大語(yǔ)言模型進(jìn)行微調(diào)，使其能夠識(shí)別不同類型的時(shí)間相關(guān)問(wèn)題；

4、(2)通過(guò)提示和任務(wù)分解示例的設(shè)計(jì)，使大語(yǔ)言模型能夠從多個(gè)示例中學(xué)習(xí)如何將復(fù)雜的時(shí)序問(wèn)題分解為多個(gè)子任務(wù)，其中，每個(gè)子任務(wù)為一個(gè)原子操作；同時(shí)，為每種子任務(wù)設(shè)計(jì)查詢語(yǔ)句模板，讓大語(yǔ)言模型學(xué)習(xí)如何根據(jù)每個(gè)子任務(wù)生成具體的查詢語(yǔ)句；

5、(3)大語(yǔ)言模型接收用戶問(wèn)題，并利用微調(diào)后的模型識(shí)別問(wèn)題類型；并根據(jù)問(wèn)題類型匹配相應(yīng)的提示，將其分解為多個(gè)子任務(wù)；

6、(4)大語(yǔ)言模型為每個(gè)操作生成查詢語(yǔ)句，并執(zhí)行查詢從知識(shí)圖譜提取數(shù)據(jù)；將召回的知識(shí)與原始問(wèn)題整合，生成最終答案；

7、(5)將原始問(wèn)題和最終生成的答案輸入到大語(yǔ)言模型中，進(jìn)行驗(yàn)證；若答案符合預(yù)期，則返回最終答案；否則進(jìn)行回溯檢查并修正，直至達(dá)到循環(huán)上限。

8、進(jìn)一步地，所述步驟(1)實(shí)現(xiàn)過(guò)程如下：

9、從現(xiàn)有的標(biāo)準(zhǔn)時(shí)序知識(shí)圖譜問(wèn)答數(shù)據(jù)集qa中隨機(jī)抽取部分?jǐn)?shù)據(jù)，保留問(wèn)題q及其對(duì)應(yīng)的類型t，得到問(wèn)題-類型對(duì)(qi,ti)，作為微調(diào)數(shù)據(jù)集對(duì)預(yù)訓(xùn)練的大語(yǔ)言模型進(jìn)行l(wèi)ora微調(diào)，使其能夠?qū)r(shí)序問(wèn)題類型進(jìn)行準(zhǔn)確分類。

10、進(jìn)一步地，所述步驟(2)實(shí)現(xiàn)過(guò)程如下：

11、(21)根據(jù)時(shí)序問(wèn)題的需求，設(shè)計(jì)一系列標(biāo)準(zhǔn)的原子操作，這些操作是解決時(shí)序知識(shí)圖譜問(wèn)題的最小粒度單位，并且是查詢知識(shí)圖譜的最小單位；另外，這些原子操作的組合可以覆蓋各類時(shí)序知識(shí)圖譜問(wèn)題的求解；

12、(22)從時(shí)序問(wèn)答數(shù)據(jù)集qa中，針對(duì)每個(gè)問(wèn)題類型，選擇具有代表性的問(wèn)題q，手工標(biāo)注它們的任務(wù)分解過(guò)程c和原子操作列表l，得到示例數(shù)據(jù)d＝{q,c,l}；

13、(23)針對(duì)不同問(wèn)題類型的特點(diǎn)設(shè)計(jì)相應(yīng)的提示，具體地描述任務(wù)分解的步驟和邏輯，引導(dǎo)模型一步步分解問(wèn)題，選擇合適的原子操作；

14、(24)對(duì)于需要執(zhí)行數(shù)據(jù)庫(kù)查詢的操作，根據(jù)每個(gè)原子操作的輸出和輸入?yún)?shù)，為其設(shè)計(jì)相應(yīng)的查詢語(yǔ)句模板；將原子操作的輸出作為查詢的返回值，使用占位符代表原子操作的輸入?yún)?shù)，在實(shí)際查詢時(shí)替換為具體的實(shí)體、關(guān)系或時(shí)間；對(duì)于無(wú)需進(jìn)行知識(shí)圖譜交互的原子操作，由大模型執(zhí)行即可得到答案，無(wú)需為其設(shè)計(jì)查詢語(yǔ)句，將其查詢模板設(shè)置為空；最終得到查詢語(yǔ)句模板庫(kù)t＝{t1,t2,t3,…,tn}；

15、(25)設(shè)計(jì)回答評(píng)估提示，判斷模型是否正確回答了原始問(wèn)題，提示要求大模型檢查回答是否符合問(wèn)題的時(shí)間約束和邏輯結(jié)構(gòu)，確保回答涵蓋所有問(wèn)題中的關(guān)鍵信息和實(shí)體，確保回答的語(yǔ)義與問(wèn)題一致。

16、進(jìn)一步地，所述原子操作包括getheadentity(tail,rel,time)、gettailentity(he?ad,rel,time)、gettime(head,rel,tail)、getbetween(entities,time1,time2)、getbefore(entities,time)、getafter(entities,time)、getfirst(entities)、getlast(entities)。

17、進(jìn)一步地，所述步驟(23)實(shí)現(xiàn)過(guò)程如下：

18、首先，提示為模型提供所有可選的原子操作、每個(gè)原子操作的描述以及應(yīng)該在何時(shí)使用該原子操作；然后，從數(shù)據(jù)集d中隨機(jī)選擇幾個(gè)示例加入到提示中，通過(guò)具體的示例問(wèn)題和解題思路，進(jìn)一步激活大語(yǔ)言模型的任務(wù)分解能力，幫助大模型理解如何在實(shí)際情境中分解問(wèn)題并選擇原子操作；最后，提示將該問(wèn)題類型對(duì)應(yīng)的原子操作組合的順序和結(jié)構(gòu)作為約束輸入給大語(yǔ)言模型，讓大模型對(duì)生成的原子操作列表進(jìn)行驗(yàn)證檢查。

19、進(jìn)一步地，所述步驟(3)實(shí)現(xiàn)過(guò)程如下：

20、基于微調(diào)時(shí)學(xué)到的知識(shí)，模型分析用戶問(wèn)題的結(jié)構(gòu)和內(nèi)容，識(shí)別出問(wèn)題的類型，得到問(wèn)題類型p；根據(jù)問(wèn)題的類型p，匹配相應(yīng)的提示，并在提示的指導(dǎo)下將問(wèn)題分解為多個(gè)子任務(wù)，每個(gè)子任務(wù)對(duì)應(yīng)一個(gè)原子操作；模型從問(wèn)題中抽取出相應(yīng)的實(shí)體、關(guān)系或時(shí)間作為原子操作的參數(shù)，若某個(gè)操作的參數(shù)是任務(wù)列表中第n個(gè)子任務(wù)的輸出，則用responsen表示該參數(shù)；最終，得到原子操作列表o＝{o1,o2,…,on}。

21、進(jìn)一步地，所述步驟(4)實(shí)現(xiàn)過(guò)程如下：

22、大語(yǔ)言模型按照原子操作列表o的順序依次執(zhí)行這些原子操作，并記錄已執(zhí)行的原子操作和每個(gè)原子操作的輸出；在執(zhí)行原子操作qi時(shí)，首先去查詢語(yǔ)句模板庫(kù)t中匹配對(duì)應(yīng)的查詢語(yǔ)句模板，若模板庫(kù)中有該原子操作對(duì)應(yīng)的查詢語(yǔ)句模板且不為空，則進(jìn)行查詢語(yǔ)句的填充；若查詢語(yǔ)句模板為空，模型將直接根據(jù)已有的知識(shí)生成結(jié)果；在進(jìn)行查詢語(yǔ)句填充時(shí)，如果參數(shù)為responsen，則需要使用第n個(gè)子任務(wù)的輸出作為參數(shù)進(jìn)行填充，得到查詢語(yǔ)句cq并執(zhí)行，從知識(shí)圖譜中召回知識(shí)作為該步驟的輸出；在完成所有子任務(wù)后，大語(yǔ)言模型整合各個(gè)子任務(wù)信息并生成最終的答案。

23、進(jìn)一步地，所述步驟(5)實(shí)現(xiàn)過(guò)程如下：

24、若回答不合理，則進(jìn)行回溯檢查，逐個(gè)檢查子任務(wù)的答案，分析錯(cuò)誤來(lái)源；首先回顧每個(gè)子任務(wù)的答案，確定是否有偏差或錯(cuò)誤；接著，檢查子任務(wù)之間的依賴關(guān)系，識(shí)別是否某個(gè)子任務(wù)的錯(cuò)誤導(dǎo)致了整體推理問(wèn)題；然后定位錯(cuò)誤源，修正并重新執(zhí)行相關(guān)子任務(wù)，調(diào)整推理過(guò)程；如果重新執(zhí)行子任務(wù)后仍然無(wú)法得到正確答案，則認(rèn)為是問(wèn)題分解錯(cuò)誤，調(diào)整問(wèn)題分解方式或原始問(wèn)題的處理策略；修正后，模型會(huì)重新生成答案并再次驗(yàn)證，若答案符合預(yù)期，則返回最終答案，否則繼續(xù)回溯并修正，直至達(dá)到循環(huán)上限。

25、本發(fā)明所述的一種電子設(shè)備，包括存儲(chǔ)器和處理器，其中：

26、存儲(chǔ)器，用于存儲(chǔ)能夠在處理器上運(yùn)行的計(jì)算機(jī)程序；

27、處理器，用于在運(yùn)行所述計(jì)算機(jī)程序時(shí)，執(zhí)行如上所述的一種時(shí)序知識(shí)圖譜檢索增強(qiáng)生成方法的步驟。

28、本發(fā)明所述的一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被至少一個(gè)處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的一種時(shí)序知識(shí)圖譜檢索增強(qiáng)生成方法的步驟。

29、有益效果：與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：本發(fā)明通過(guò)引入問(wèn)題分解和多步推理的機(jī)制，自動(dòng)將復(fù)雜問(wèn)題拆解為多個(gè)子任務(wù)，并通過(guò)查詢時(shí)序知識(shí)圖譜有效獲取相關(guān)信息，確保了答案的準(zhǔn)確性和全面性；同時(shí)，本發(fā)明通過(guò)微調(diào)大語(yǔ)言模型，增強(qiáng)了其在多種時(shí)間約束下的推理能力，使得模型能夠處理如等值、多項(xiàng)等值、時(shí)間先后等復(fù)雜時(shí)間關(guān)系問(wèn)題；本發(fā)明不僅提高了時(shí)序推理的效率，還增強(qiáng)了模型的可解釋性，使得每一步推理過(guò)程透明且易于追蹤，有效提升了大語(yǔ)言模型在實(shí)際應(yīng)用中的可用性和可靠性。