本發(fā)明涉及計(jì)算機(jī)的流圖處理，尤其涉及一種用于流圖處理的緩存管理方法及裝置。

背景技術(shù)：

1、流圖是一種會隨時間變化而不斷更新的圖結(jié)構(gòu)，這種變化是通過圖的批量更新觸發(fā)的。流圖在許多領(lǐng)域有廣泛應(yīng)用，比如推薦系統(tǒng)、金融欺詐檢測、異常檢測等。這些應(yīng)用需要對流圖中的計(jì)算和更新提供快速支持。為了實(shí)現(xiàn)對圖計(jì)算和更新的快速響應(yīng)，增量計(jì)算被廣泛采用。研究表明，頂點(diǎn)更新前的值通常比最初的初始值更接近新的快照結(jié)果。在增量計(jì)算中，使用圖結(jié)構(gòu)更新前的頂點(diǎn)值可以減少更新批次對頂點(diǎn)狀態(tài)的影響。隨后，頂點(diǎn)狀態(tài)沿著圖的拓?fù)浣Y(jié)構(gòu)傳播，以計(jì)算其他受影響頂點(diǎn)的最新結(jié)果。

2、然而，在流圖的增量處理中，存在兩個主要挑戰(zhàn)：首先，圖更新時受影響的頂點(diǎn)只占整個圖的一小部分，而且分布較為分散；其次，圖處理過程中存在大量不規(guī)則的訪問模式，這導(dǎo)致緩存未命中率較高。因此，如何提高緩存管理的效率是需要解決的問題。提高緩存管理效率可以有效減少緩存缺失和數(shù)據(jù)訪問延遲，從而提高流圖處理的速度和效率。

3、有效的緩存替換策略能夠顯著減少流圖處理中的緩存抖動。傳統(tǒng)策略通常依賴于數(shù)據(jù)的最近訪問時間和訪問頻率，基于訪問的時效性和頻率進(jìn)行替換。然而，由于圖結(jié)構(gòu)的特殊性和不規(guī)則的訪問模式，這些策略往往效果有限。為解決這一問題，現(xiàn)有技術(shù)提出了針對圖計(jì)算的緩存管理策略。

4、例如，grasp通過分析圖數(shù)據(jù)的特征，將高度數(shù)頂點(diǎn)視為高重用頂點(diǎn)并保留在緩存中，從而減少緩存抖動。p-opt通過訪問圖的鄰接矩陣及其轉(zhuǎn)置，選擇未來使用最晚的頂點(diǎn)來實(shí)現(xiàn)最佳緩存替換。然而，在流圖的增量計(jì)算中，頂點(diǎn)的度數(shù)并不能準(zhǔn)確反映其重用性。此外，受影響的頂點(diǎn)僅占全圖的一小部分且分布分散，導(dǎo)致數(shù)據(jù)訪問順序不規(guī)則。因此，現(xiàn)有技術(shù)的緩存管理策略在處理流圖數(shù)據(jù)的過程中的緩存效率不高。

5、cn107493327a公開了一種分布式緩存管理系統(tǒng)，應(yīng)用于包括至少一客戶端、進(jìn)行哈希運(yùn)算的路由層、以及多個存儲節(jié)點(diǎn)構(gòu)建的分布式緩存網(wǎng)絡(luò)中，其中，各該存儲節(jié)點(diǎn)中預(yù)置有至少一個緩存實(shí)例，從多個存儲節(jié)點(diǎn)中確定多個緩存實(shí)例并提交業(yè)務(wù)請求；以及依據(jù)指定的冗余度將多個緩存實(shí)例配置為多組包括一主緩存實(shí)例及至少一副緩存實(shí)例的緩存實(shí)例集，能夠確保映射于同一個區(qū)間或者哈希槽上的主緩存實(shí)例和副緩存實(shí)例被配置在不同的存儲節(jié)點(diǎn)上，進(jìn)而確保即便一個存儲節(jié)點(diǎn)上所有的緩存實(shí)例都被掛起時，也不會導(dǎo)致業(yè)務(wù)數(shù)據(jù)部分丟失，進(jìn)而可以確保操作業(yè)務(wù)能夠正常運(yùn)行。具體地，該技術(shù)方案描述的分布式緩存管理系統(tǒng)主要關(guān)注數(shù)據(jù)冗余和容錯性，通過在不同存儲節(jié)點(diǎn)上配置主緩存和副緩存，確保數(shù)據(jù)持久性。但是，這種設(shè)計(jì)在流圖處理場景中不太適用，因?yàn)榱鲌D處理需要快速的實(shí)時響應(yīng)和高效的動態(tài)更新。該技術(shù)方案的冗余機(jī)制引入了額外的延遲和資源開銷，不利于滿足流圖處理的高效性要求。此外，流圖數(shù)據(jù)訪問模式的不規(guī)則性和局部性，與傳統(tǒng)哈希分布策略不匹配，影響緩存命中率和性能。

6、如上所述，傳統(tǒng)緩存管理策略在處理流圖數(shù)據(jù)時，沒有考慮流圖的特點(diǎn)，會產(chǎn)生嚴(yán)重的緩存缺失。因此，在流圖的增量處理場景中，如何有效管理緩存以減少緩存缺失是需要解決的技術(shù)問題。

7、此外，一方面由于對本領(lǐng)域技術(shù)人員的理解存在差異；另一方面由于申請人做出本發(fā)明時研究了大量文獻(xiàn)和專利，但篇幅所限并未詳細(xì)羅列所有的細(xì)節(jié)與內(nèi)容，然而這絕非本發(fā)明不具備這些現(xiàn)有技術(shù)的特征，相反本發(fā)明已經(jīng)具備現(xiàn)有技術(shù)的所有特征，而且申請人保留在背景技術(shù)中增加相關(guān)現(xiàn)有技術(shù)之權(quán)利。

技術(shù)實(shí)現(xiàn)思路

1、傳統(tǒng)方法常?；跀?shù)據(jù)項(xiàng)的最近訪問時間和訪問次數(shù)來決定替換策略，依據(jù)數(shù)據(jù)訪問的新鮮度和頻繁度進(jìn)行淘汰。但是，由于圖的復(fù)雜性和數(shù)據(jù)訪問的不規(guī)則性，這些傳統(tǒng)方法在處理圖數(shù)據(jù)時通常效果有限。

2、在現(xiàn)有的技術(shù)中，grasp算法通過識別圖數(shù)據(jù)的特性，將頻繁連接的頂點(diǎn)視為潛在的重復(fù)使用節(jié)點(diǎn)，并將其保留在緩存中，以此降低緩存的抖動。p-opt算法則通過分析圖的鄰接矩陣及其轉(zhuǎn)置，挑選那些預(yù)計(jì)在未來最遲被訪問的節(jié)點(diǎn)來執(zhí)行最優(yōu)的緩存替換。然而，在流圖的動態(tài)計(jì)算中，節(jié)點(diǎn)的連接度并不總能準(zhǔn)確反映其被重用的可能性。同時，只有少數(shù)且分散的頂點(diǎn)受到這種影響，這導(dǎo)致數(shù)據(jù)訪問的順序呈現(xiàn)出不規(guī)則性。因此，現(xiàn)行技術(shù)的緩存管理策略在處理流圖數(shù)據(jù)時，其緩存性能并不理想。

3、針對現(xiàn)有技術(shù)之不足，本發(fā)明從第一方面提供一種用于流圖處理的緩存管理方法，該方法包括：從虛擬地址中選擇與頂點(diǎn)相關(guān)的數(shù)據(jù)；提取與頂點(diǎn)相關(guān)的數(shù)據(jù)中的重要性因素并計(jì)算重要性指標(biāo)值，以評估流圖增量處理過程中頂點(diǎn)的重要性程度；基于重要性指標(biāo)值識別選取最后一級緩存中重要性指標(biāo)值最低的頂點(diǎn)；在緩存未命中的情況下，將頂點(diǎn)的相關(guān)信息與最后一級緩存中重要性最低的緩存行的相關(guān)信息進(jìn)行替換。

4、本發(fā)明通過從虛擬地址中選擇與頂點(diǎn)相關(guān)的數(shù)據(jù)，并提取這些數(shù)據(jù)中的重要性因素來計(jì)算重要性指標(biāo)值，目的是為了評估流圖增量處理過程中頂點(diǎn)的重要性程度。這種方法能夠更精確地識別出在流圖處理中哪些頂點(diǎn)更為重要，從而在緩存未命中時，優(yōu)先替換那些重要性指標(biāo)值最低的頂點(diǎn)，減少緩存缺失，提高緩存的利用效率。

5、根據(jù)一個優(yōu)選實(shí)施方式，重要性指標(biāo)值的重要性因素包括：頂點(diǎn)狀態(tài)受影響的關(guān)聯(lián)度、頂點(diǎn)的路徑距離和頂點(diǎn)是否會被更新。如此設(shè)置重要性因素，可以更準(zhǔn)確地預(yù)測哪些頂點(diǎn)在未來的流圖處理中更有可能被重用，從而在緩存未命中時，優(yōu)先保留這些重要的頂點(diǎn)。這種方法有助于減少不必要的緩存替換，提高緩存命中率，從而提升系統(tǒng)的整體性能和響應(yīng)速度。通過這種方式，可以更有效地利用緩存資源，減少緩存缺失，優(yōu)化流圖數(shù)據(jù)的處理效率。

6、根據(jù)一個優(yōu)選實(shí)施方式，選擇與頂點(diǎn)相關(guān)的數(shù)據(jù)的步驟包括：記錄與頂點(diǎn)相關(guān)的狀態(tài)數(shù)組的首地址、頂點(diǎn)個數(shù)和數(shù)據(jù)的大?。粚⑻摂M地址與預(yù)先確定的地址范圍進(jìn)行比較并分類，得到當(dāng)前訪問頂點(diǎn)的id，以根據(jù)當(dāng)前訪問頂點(diǎn)的id提取重要性因素。

7、本發(fā)明通過記錄與頂點(diǎn)相關(guān)的狀態(tài)數(shù)組的首地址、頂點(diǎn)個數(shù)和數(shù)據(jù)的大小，并比較虛擬地址與預(yù)先確定的地址范圍，目的是為了快速準(zhǔn)確地識別當(dāng)前訪問的頂點(diǎn)。這種方法能夠確保在緩存替換決策時，迅速定位到具體的頂點(diǎn)，從而提高緩存管理的響應(yīng)速度和準(zhǔn)確性。

8、根據(jù)一個優(yōu)選實(shí)施方式，頂點(diǎn)狀態(tài)受影響的關(guān)聯(lián)度的計(jì)算方法包括：設(shè)置頂點(diǎn)狀態(tài)受影響的關(guān)聯(lián)度的初始值為零；當(dāng)有狀態(tài)傳播經(jīng)過頂點(diǎn)時，頂點(diǎn)狀態(tài)受影響的關(guān)聯(lián)度增加1；當(dāng)頂點(diǎn)被處理時，頂點(diǎn)狀態(tài)受影響的關(guān)聯(lián)度減少1。

9、本發(fā)明通過設(shè)置頂點(diǎn)狀態(tài)受影響的關(guān)聯(lián)度的初始值為零，并根據(jù)狀態(tài)傳播和頂點(diǎn)處理動態(tài)調(diào)整該值，目的是為了實(shí)時反映頂點(diǎn)在流圖中的活躍狀態(tài)。這種方法能夠動態(tài)地評估頂點(diǎn)的重要性，使得緩存替換策略能夠適應(yīng)流圖的動態(tài)變化，提高緩存的命中率。

10、根據(jù)一個優(yōu)選實(shí)施方式，頂點(diǎn)的路徑距離的計(jì)算方法包括：記錄頂點(diǎn)的層級信息；計(jì)算頂點(diǎn)與當(dāng)前訪問頂點(diǎn)層級的差值。

11、本發(fā)明通過記錄頂點(diǎn)的層級信息并計(jì)算頂點(diǎn)與當(dāng)前訪問頂點(diǎn)層級的差值，目的是為了識別出在流圖中距離當(dāng)前活動較近的頂點(diǎn)。這種方法能夠識別出那些當(dāng)前更可能被訪問的頂點(diǎn)，從而在緩存替換時優(yōu)先保留這些頂點(diǎn)，減少因緩存缺失導(dǎo)致的性能損失。

12、根據(jù)一個優(yōu)選實(shí)施方式，頂點(diǎn)是否會被更新的計(jì)算方法包括：當(dāng)頂點(diǎn)狀態(tài)受影響的關(guān)聯(lián)度大于0時，表示該頂點(diǎn)會被更新，頂點(diǎn)是否會被更新的重要性指標(biāo)值表示為1；當(dāng)頂點(diǎn)狀態(tài)受影響的關(guān)聯(lián)度為0時，表示該頂點(diǎn)不會被更新，頂點(diǎn)是否會被更新的重要性指標(biāo)值表示為0。

13、本發(fā)明通過判斷頂點(diǎn)狀態(tài)受影響的關(guān)聯(lián)度是否大于0來確定頂點(diǎn)是否會被更新，目的是為了預(yù)測頂點(diǎn)被訪問的可能性。這種方法能夠提前識別出將來可能會被訪問的頂點(diǎn)，從而在緩存替換時優(yōu)先保留這些頂點(diǎn)，減少訪問頂點(diǎn)時產(chǎn)生的緩存缺失。

14、根據(jù)一個優(yōu)選實(shí)施方式，方法還包括：選擇路徑距離為負(fù)數(shù)的頂點(diǎn)所在的緩存行進(jìn)行替換；或者，在頂點(diǎn)的路徑距離為正數(shù)的情況下，選擇路徑距離大的頂點(diǎn)所在的緩存行進(jìn)行替換。

15、本發(fā)明在選擇路徑距離為負(fù)數(shù)或正數(shù)且距離大的頂點(diǎn)進(jìn)行替換，目的是為了優(yōu)先淘汰那些距離當(dāng)前活動較遠(yuǎn)的頂點(diǎn)。這種方法能夠優(yōu)化緩存空間的使用，為更可能被重用的頂點(diǎn)騰出空間，提高緩存的利用效率。

16、根據(jù)一個優(yōu)選實(shí)施方式，計(jì)算重要性指標(biāo)值的步驟包括：

17、

18、其中，α表示頂點(diǎn)狀態(tài)受影響的關(guān)聯(lián)度(x)的權(quán)重因子；β表示頂點(diǎn)的路徑距離(y)的權(quán)重因子；xmax和xmin分別表示數(shù)據(jù)集中頂點(diǎn)狀態(tài)受影響的關(guān)聯(lián)度的最大值和最小值；x表示頂點(diǎn)狀態(tài)受影響的關(guān)聯(lián)度，y表示頂點(diǎn)的路徑距離，z表示頂點(diǎn)是否會被更新的值。

19、這樣計(jì)算可以更準(zhǔn)確地評估頂點(diǎn)的重要性。這種方法通過加權(quán)和歸一化處理，能夠更平衡地反映頂點(diǎn)的多重特性，使得緩存替換決策更加全面和精確。通過這種方式，可以提高緩存行替換的效率，減少不必要的緩存缺失，從而提升整體的緩存性能。

20、本發(fā)明從第二方面提供一種用于流圖處理的緩存管理裝置，包括處理器；處理器被配置為：從虛擬地址中選擇與頂點(diǎn)相關(guān)的數(shù)據(jù)；提取與頂點(diǎn)相關(guān)的數(shù)據(jù)中的重要性因素并計(jì)算重要性指標(biāo)值，以評估流圖增量處理過程中頂點(diǎn)的重要性程度；基于重要性指標(biāo)值識別選取最后一級緩存中重要性指標(biāo)值最低的頂點(diǎn)；在緩存未命中的情況下，將頂點(diǎn)的相關(guān)信息與最后一級緩存中重要性最低的緩存行的相關(guān)信息進(jìn)行替換。

21、本發(fā)明從第三方面提供一種用于流圖處理的緩存管理裝置，包括處理器；處理器包括地址分類器、評估單元和緩存管理單元。地址分類器用于從虛擬地址中選擇與頂點(diǎn)相關(guān)的數(shù)據(jù)；評估單元用于提取與頂點(diǎn)相關(guān)的數(shù)據(jù)中的重要性因素并計(jì)算重要性指標(biāo)值，以評估流圖增量處理過程中頂點(diǎn)的重要性程度；緩存管理單元用于基于重要性指標(biāo)值識別選取最后一級緩存中重要性指標(biāo)值最低的頂點(diǎn)；在緩存未命中的情況下，將頂點(diǎn)的相關(guān)信息與最后一級緩存中重要性最低的緩存行的相關(guān)信息進(jìn)行替換。