本發(fā)明涉及數(shù)據(jù)集成管理，具體為基于分布式數(shù)據(jù)庫(kù)的市政道路施工段數(shù)據(jù)集成管理方法及系統(tǒng)。

背景技術(shù)：

1、隨著市政道路建設(shè)規(guī)模的不斷擴(kuò)大，施工過(guò)程中產(chǎn)生的數(shù)據(jù)量呈爆發(fā)式增長(zhǎng)。傳統(tǒng)的數(shù)據(jù)管理方式在面對(duì)海量、復(fù)雜且來(lái)源多樣的施工數(shù)據(jù)時(shí)，顯得力不從心。施工數(shù)據(jù)涵蓋施工設(shè)備運(yùn)行參數(shù)、施工日志、質(zhì)量檢查結(jié)果、施工現(xiàn)場(chǎng)臨時(shí)變更信息等多種類型，來(lái)源于傳感器設(shè)備、移動(dòng)應(yīng)用程序以及人工記錄等不同渠道。

2、根據(jù)公開號(hào)為cn118885476b的專利申請(qǐng)，公開了一種數(shù)據(jù)集成服務(wù)智能管理方法，本發(fā)明在數(shù)據(jù)集成前檢測(cè)各數(shù)據(jù)源數(shù)據(jù)的一致性和準(zhǔn)確性并進(jìn)行相應(yīng)處理，進(jìn)而保障數(shù)據(jù)集成后的數(shù)據(jù)質(zhì)量，有利于更好地為企業(yè)業(yè)務(wù)決策提供可靠的數(shù)據(jù)支持；在數(shù)據(jù)集成前識(shí)別各數(shù)據(jù)源的敏感性數(shù)據(jù)，并進(jìn)行數(shù)據(jù)脫敏，進(jìn)而確保數(shù)據(jù)在集成過(guò)程中的安全性；根據(jù)數(shù)據(jù)量和數(shù)據(jù)更新頻率，評(píng)估數(shù)據(jù)中臺(tái)分配計(jì)算資源傳輸數(shù)據(jù)源數(shù)據(jù)的優(yōu)先級(jí)，有利于對(duì)數(shù)據(jù)集成的流程和資源進(jìn)行優(yōu)化配置，降低數(shù)據(jù)集成的成本。

3、但是市政道路施工數(shù)據(jù)量巨大且類型復(fù)雜，傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)難以滿足數(shù)據(jù)存儲(chǔ)的可擴(kuò)展性需求。同時(shí)，不同類型數(shù)據(jù)的分類管理以及如何快速、準(zhǔn)確地獲取和處理所需數(shù)據(jù)，也是面臨的挑戰(zhàn)之一，然而，現(xiàn)有技術(shù)在數(shù)據(jù)讀取速度、處理時(shí)長(zhǎng)以及對(duì)不同網(wǎng)絡(luò)狀況的適應(yīng)性方面存在不足，無(wú)法很好地滿足施工業(yè)務(wù)對(duì)數(shù)據(jù)實(shí)時(shí)性和高性能的要求。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提供了基于分布式數(shù)據(jù)庫(kù)的市政道路施工段數(shù)據(jù)集成管理方法及系統(tǒng)，解決了在數(shù)據(jù)讀取速度、處理時(shí)長(zhǎng)以及對(duì)不同網(wǎng)絡(luò)狀況的適應(yīng)性方面存在不足，無(wú)法很好地滿足施工業(yè)務(wù)對(duì)數(shù)據(jù)實(shí)時(shí)性和高性能的要求的問(wèn)題。

2、為實(shí)現(xiàn)以上目的，本發(fā)明通過(guò)以下技術(shù)方案予以實(shí)現(xiàn)：基于分布式數(shù)據(jù)庫(kù)的市政道路施工段數(shù)據(jù)集成管理方法，該方法具體包括以下步驟：

3、采集施工數(shù)據(jù)，經(jīng)數(shù)據(jù)清洗與數(shù)據(jù)轉(zhuǎn)換，得到預(yù)處理數(shù)據(jù)；

4、對(duì)預(yù)處理數(shù)據(jù)分類，計(jì)算同類型數(shù)據(jù)在時(shí)間周期內(nèi)的使用頻率與增加頻率的和值得實(shí)時(shí)值，計(jì)算最大延遲標(biāo)準(zhǔn)與最小處理速度之和，得需求值；實(shí)時(shí)值與需求值相加，獲存儲(chǔ)優(yōu)先值，并按從大到小排序生成數(shù)據(jù)排序信息；

5、構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，選定分析對(duì)象，分別獲取其在網(wǎng)絡(luò)穩(wěn)定及不穩(wěn)定時(shí)的讀取速度，計(jì)算二者均值得讀取值；

6、獲取并發(fā)處理時(shí)長(zhǎng)與響應(yīng)時(shí)長(zhǎng)，分別與判斷標(biāo)準(zhǔn)匹配得處理時(shí)長(zhǎng)賦值和響應(yīng)時(shí)長(zhǎng)賦值，二者相加得處理賦值，取值與處理賦值相加得存儲(chǔ)性能值，按存儲(chǔ)性能值從大到小排序，生成數(shù)據(jù)倉(cāng)排序信息；

7、從數(shù)據(jù)排序信息找出存儲(chǔ)優(yōu)先值最大的預(yù)處理數(shù)據(jù)，即優(yōu)先存儲(chǔ)數(shù)據(jù)；從數(shù)據(jù)倉(cāng)排序信息確定存儲(chǔ)性能值最大的數(shù)據(jù)倉(cāng)，即優(yōu)先存儲(chǔ)倉(cāng)，二者匹配存儲(chǔ)，生成優(yōu)先存儲(chǔ)信息；

8、獲取優(yōu)先存儲(chǔ)數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)，依據(jù)關(guān)聯(lián)數(shù)據(jù)量與各剩余數(shù)據(jù)倉(cāng)處理同類型數(shù)據(jù)的速度，算出處理時(shí)間，以關(guān)聯(lián)數(shù)據(jù)對(duì)應(yīng)的最小處理速度篩選剩余數(shù)據(jù)倉(cāng)，得預(yù)選存儲(chǔ)倉(cāng)；

9、若預(yù)選存儲(chǔ)倉(cāng)數(shù)量為零，關(guān)聯(lián)數(shù)據(jù)與優(yōu)先存儲(chǔ)數(shù)據(jù)一起存儲(chǔ)，若不為零，選處理時(shí)間最短的預(yù)選存儲(chǔ)倉(cāng)存儲(chǔ)關(guān)聯(lián)數(shù)據(jù)，生成關(guān)聯(lián)存儲(chǔ)信息，綜合關(guān)聯(lián)與優(yōu)先存儲(chǔ)信息，得到存儲(chǔ)管理信息。

10、作為本發(fā)明的進(jìn)一步方案，所述計(jì)算同類型數(shù)據(jù)在時(shí)間周期內(nèi)的使用頻率與增加頻率的和值得實(shí)時(shí)值的具體方式為：

11、對(duì)得到的預(yù)處理數(shù)據(jù)進(jìn)行分類，得到同類型數(shù)據(jù)，接著對(duì)同類型數(shù)據(jù)中的預(yù)處理數(shù)據(jù)進(jìn)行獲取，并標(biāo)號(hào)記作i，且i=1、2、…、j，其中j表示預(yù)處理數(shù)據(jù)的數(shù)量；

12、以時(shí)間t為周期，獲取預(yù)處理數(shù)據(jù)i在時(shí)間周期t內(nèi)的查看次數(shù)，并計(jì)算預(yù)處理數(shù)據(jù)i對(duì)應(yīng)的使用頻率，同時(shí)獲取預(yù)處理數(shù)據(jù)i在時(shí)間周期t內(nèi)對(duì)應(yīng)的增加量，并根據(jù)公式增加頻率=增加量÷時(shí)間t，計(jì)算得到預(yù)處理數(shù)據(jù)i對(duì)應(yīng)的增加頻率，計(jì)算使用頻率和增加頻率的數(shù)值之和，記作預(yù)處理數(shù)據(jù)i的實(shí)時(shí)值。

13、作為本發(fā)明的進(jìn)一步方案，所述計(jì)算最大延遲標(biāo)準(zhǔn)與最小處理速度之和得需求值的具體方式為：

14、獲取預(yù)處理數(shù)據(jù)i對(duì)應(yīng)的同類型數(shù)據(jù)，并獲取對(duì)應(yīng)的最大延遲標(biāo)準(zhǔn)，同時(shí)獲取預(yù)處理數(shù)據(jù)i對(duì)應(yīng)的最小處理速度，接著計(jì)算二者數(shù)值之和，得到預(yù)處理數(shù)據(jù)i的需求值。

15、作為本發(fā)明的進(jìn)一步方案，所述按從大到小排序生成數(shù)據(jù)排序信息的具體方式為：

16、將預(yù)處理數(shù)據(jù)i的實(shí)時(shí)值和需求值進(jìn)行求和計(jì)算，得到預(yù)處理數(shù)據(jù)i的存儲(chǔ)優(yōu)先值，并按照存儲(chǔ)優(yōu)先值從大到小進(jìn)行排序，生成數(shù)據(jù)排序信息。

17、作為本發(fā)明的進(jìn)一步方案，所述計(jì)算二者均值得讀取值的具體方式為：

18、獲取所有的數(shù)據(jù)倉(cāng)并標(biāo)號(hào)記作a，且a=1、2、…、b，其中b表示數(shù)據(jù)倉(cāng)的數(shù)量，獲取數(shù)據(jù)倉(cāng)對(duì)應(yīng)不同數(shù)據(jù)中的任一種類數(shù)據(jù)，并記作分析對(duì)象，對(duì)分析對(duì)象在不同網(wǎng)絡(luò)情況的讀取速度進(jìn)行獲取，同時(shí)計(jì)算分析對(duì)象不同網(wǎng)絡(luò)情況對(duì)應(yīng)的讀取速度均值，具體的計(jì)算穩(wěn)定和不穩(wěn)定對(duì)應(yīng)讀取速度之和，并計(jì)算均值，記作分析對(duì)象的讀取值。

19、作為本發(fā)明的進(jìn)一步方案，所述生成數(shù)據(jù)倉(cāng)排序信息的具體方式為：

20、對(duì)并發(fā)處理時(shí)長(zhǎng)進(jìn)行分析，獲取n個(gè)實(shí)時(shí)數(shù)據(jù)處理任務(wù)對(duì)應(yīng)的處理時(shí)長(zhǎng)，且此處的n具體由操作人員設(shè)定，同時(shí)將得到的處理時(shí)長(zhǎng)與判斷標(biāo)準(zhǔn)進(jìn)行匹配，并得到相應(yīng)的賦值記作處理時(shí)長(zhǎng)賦值，同理對(duì)響應(yīng)時(shí)長(zhǎng)進(jìn)行分析，得到對(duì)應(yīng)的賦值記作響應(yīng)時(shí)長(zhǎng)賦值，并計(jì)算處理時(shí)長(zhǎng)賦值和響應(yīng)時(shí)長(zhǎng)賦值的數(shù)值之和記作處理賦值，接著計(jì)算讀取值和處理賦值的數(shù)值之和，記作數(shù)據(jù)倉(cāng)的存儲(chǔ)性能值；

21、并按照得到的存儲(chǔ)性能值從大到小排序，生成數(shù)據(jù)倉(cāng)排序信息。

22、作為本發(fā)明的進(jìn)一步方案，所述生成優(yōu)先存儲(chǔ)信息的具體方式為：

23、基于得到的數(shù)據(jù)排序信息和數(shù)據(jù)倉(cāng)排序信息進(jìn)行綜合分析，通過(guò)對(duì)數(shù)據(jù)的關(guān)聯(lián)性進(jìn)行分析確定關(guān)聯(lián)數(shù)據(jù)，獲取數(shù)據(jù)排序信息中存儲(chǔ)優(yōu)先值最大的預(yù)處理數(shù)據(jù)記作優(yōu)先存儲(chǔ)數(shù)據(jù)，同時(shí)獲取數(shù)據(jù)倉(cāng)排序信息中存儲(chǔ)性能值最大的數(shù)據(jù)倉(cāng)記作優(yōu)先存儲(chǔ)倉(cāng)，并將二者進(jìn)行匹配存儲(chǔ)，生成優(yōu)先存儲(chǔ)信息。

24、作為本發(fā)明的進(jìn)一步方案，所述得預(yù)選存儲(chǔ)倉(cāng)的具體方式為：

25、接著對(duì)優(yōu)先存儲(chǔ)數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)進(jìn)行獲取，同時(shí)以關(guān)聯(lián)數(shù)據(jù)為標(biāo)準(zhǔn)對(duì)剩余數(shù)據(jù)倉(cāng)進(jìn)行匹配分析；

26、獲取剩余數(shù)據(jù)倉(cāng)對(duì)應(yīng)的處理速度，且此處的處理速度表示為與關(guān)聯(lián)數(shù)據(jù)為同類型的處理速度，同時(shí)獲取關(guān)聯(lián)數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)量，并計(jì)算剩余數(shù)據(jù)倉(cāng)對(duì)關(guān)聯(lián)數(shù)據(jù)的處理時(shí)間，接著對(duì)關(guān)聯(lián)數(shù)據(jù)對(duì)應(yīng)的最小處理速度，并以最小處理速度為標(biāo)準(zhǔn)對(duì)剩余數(shù)據(jù)倉(cāng)進(jìn)行篩選，得到預(yù)選存儲(chǔ)倉(cāng)。

27、作為本發(fā)明的進(jìn)一步方案，所述得到存儲(chǔ)管理信息的具體方式為：

28、若預(yù)選存儲(chǔ)倉(cāng)的數(shù)量為零，則將關(guān)聯(lián)數(shù)據(jù)與優(yōu)先存儲(chǔ)數(shù)據(jù)一起存儲(chǔ)，并生成關(guān)聯(lián)存儲(chǔ)信息，若預(yù)選存儲(chǔ)倉(cāng)的數(shù)量不為零，則獲取處理時(shí)間最短的預(yù)選存儲(chǔ)倉(cāng)為標(biāo)準(zhǔn)，生成關(guān)聯(lián)存儲(chǔ)信息，同時(shí)綜合關(guān)聯(lián)存儲(chǔ)信息和優(yōu)先存儲(chǔ)信息得到存儲(chǔ)管理信息。

29、基于分布式數(shù)據(jù)庫(kù)的市政道路施工段數(shù)據(jù)集成管理系統(tǒng)，包括：

30、數(shù)據(jù)獲取模塊，該模塊用于對(duì)施工數(shù)據(jù)進(jìn)行獲取，并對(duì)其進(jìn)行數(shù)據(jù)清洗得到預(yù)處理數(shù)據(jù)，同時(shí)將其傳輸?shù)酱鎯?chǔ)分析模塊；

31、數(shù)據(jù)存儲(chǔ)分析模塊，該模塊用于對(duì)獲取的預(yù)處理數(shù)據(jù)進(jìn)行存儲(chǔ)分析，通過(guò)對(duì)預(yù)處理數(shù)據(jù)進(jìn)行分類得到同類型數(shù)據(jù)，同時(shí)對(duì)時(shí)間周期內(nèi)同類型數(shù)據(jù)的使用頻率和增加頻率進(jìn)行計(jì)算得到實(shí)時(shí)值，并通過(guò)計(jì)算最大延遲標(biāo)準(zhǔn)和最小處理速度得到需求值，接著計(jì)算實(shí)時(shí)值和需求值數(shù)值之和得到預(yù)處理數(shù)據(jù)的存儲(chǔ)優(yōu)先值，并從大到小排序生成數(shù)據(jù)排序信息，同時(shí)將其傳輸?shù)綌?shù)據(jù)管理分析模塊；

32、數(shù)據(jù)倉(cāng)存儲(chǔ)分析模塊，該模塊用于建立對(duì)應(yīng)的數(shù)據(jù)倉(cāng)庫(kù)，同時(shí)對(duì)數(shù)據(jù)倉(cāng)對(duì)應(yīng)不同數(shù)據(jù)的讀取速度和處理時(shí)長(zhǎng)進(jìn)行分析，從數(shù)據(jù)倉(cāng)不同數(shù)據(jù)中選定一種作為分析對(duì)象，分別獲取其在網(wǎng)絡(luò)穩(wěn)定和不穩(wěn)定時(shí)的讀取速度，計(jì)算二者讀取速度之和，再求均值得到分析對(duì)象的讀取值，處理時(shí)長(zhǎng)分析涵蓋并發(fā)處理時(shí)長(zhǎng)與響應(yīng)時(shí)長(zhǎng)，獲取任務(wù)對(duì)應(yīng)的并發(fā)處理時(shí)長(zhǎng)，將其與依據(jù)大量數(shù)據(jù)分析得出的判斷標(biāo)準(zhǔn)數(shù)值區(qū)間匹配，得到處理時(shí)長(zhǎng)賦值，同理對(duì)響應(yīng)時(shí)長(zhǎng)進(jìn)行匹配，獲取響應(yīng)時(shí)長(zhǎng)賦值，將處理時(shí)長(zhǎng)賦值與響應(yīng)時(shí)長(zhǎng)賦值相加，得到處理賦值，將讀取值與處理賦值相加，得到數(shù)據(jù)倉(cāng)的存儲(chǔ)性能值，依據(jù)存儲(chǔ)性能值從大到小排序，生成數(shù)據(jù)倉(cāng)排序信息，并將其傳輸?shù)綌?shù)據(jù)管理分析模塊；

33、數(shù)據(jù)管理分析模塊，該模塊用于從數(shù)據(jù)排序信息里找出存儲(chǔ)優(yōu)先值最大的預(yù)處理數(shù)據(jù)，記為優(yōu)先存儲(chǔ)數(shù)據(jù)，同時(shí)在數(shù)據(jù)倉(cāng)排序信息中確定存儲(chǔ)性能值最大的數(shù)據(jù)倉(cāng)，稱作優(yōu)先存儲(chǔ)倉(cāng)，將二者匹配存儲(chǔ)，記錄優(yōu)先存儲(chǔ)信息，獲取優(yōu)先存儲(chǔ)數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)，以關(guān)聯(lián)數(shù)據(jù)為依據(jù)，獲取各剩余數(shù)據(jù)倉(cāng)處理同類型數(shù)據(jù)的速度，結(jié)合關(guān)聯(lián)數(shù)據(jù)量，算出處理時(shí)間，依據(jù)關(guān)聯(lián)數(shù)據(jù)對(duì)應(yīng)的最小處理速度篩選剩余數(shù)據(jù)倉(cāng)，得到預(yù)選存儲(chǔ)倉(cāng)；

34、若預(yù)選存儲(chǔ)倉(cāng)數(shù)量為零，將關(guān)聯(lián)數(shù)據(jù)與優(yōu)先存儲(chǔ)數(shù)據(jù)存于一處，生成關(guān)聯(lián)存儲(chǔ)信息；若不為零，選處理時(shí)間最短的預(yù)選存儲(chǔ)倉(cāng)存儲(chǔ)關(guān)聯(lián)數(shù)據(jù)，生成關(guān)聯(lián)存儲(chǔ)信息，綜合關(guān)聯(lián)與優(yōu)先存儲(chǔ)信息，得到存儲(chǔ)管理信息，依此流程對(duì)所有預(yù)處理數(shù)據(jù)進(jìn)行分析，最終生成完整存儲(chǔ)管理信息，同時(shí)將存儲(chǔ)管理信息傳輸?shù)焦芾硇畔⑤敵瞿K；

35、管理信息輸出模塊，該模塊用于對(duì)得到的存儲(chǔ)管理信息進(jìn)行管理。

36、本發(fā)明提供了基于分布式數(shù)據(jù)庫(kù)的市政道路施工段數(shù)據(jù)集成管理方法及系統(tǒng)。與現(xiàn)有技術(shù)相比具備以下有益效果：

37、本發(fā)明通過(guò)過(guò)全面的數(shù)據(jù)清洗操作，包括去除重復(fù)數(shù)據(jù)、處理缺失值和糾正錯(cuò)誤數(shù)據(jù)，以及進(jìn)行格式轉(zhuǎn)換、數(shù)據(jù)類型統(tǒng)一和編碼轉(zhuǎn)換等數(shù)據(jù)轉(zhuǎn)換操作，確保了施工數(shù)據(jù)的準(zhǔn)確性、完整性和可用性，為后續(xù)分析和決策提供可靠的數(shù)據(jù)基礎(chǔ)。

38、對(duì)數(shù)據(jù)倉(cāng)存儲(chǔ)性能進(jìn)行全面分析，包括在不同網(wǎng)絡(luò)情況下分析對(duì)象讀取速度的計(jì)算以及處理時(shí)長(zhǎng)的評(píng)估。通過(guò)合理篩選數(shù)據(jù)倉(cāng)，將存儲(chǔ)優(yōu)先值高的數(shù)據(jù)存儲(chǔ)在存儲(chǔ)性能值優(yōu)的數(shù)據(jù)倉(cāng)中，有效提高了數(shù)據(jù)的讀取速度和處理效率，滿足了施工業(yè)務(wù)對(duì)數(shù)據(jù)實(shí)時(shí)性和高性能的嚴(yán)格要求。

39、準(zhǔn)確識(shí)別優(yōu)先存儲(chǔ)數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)，并根據(jù)關(guān)聯(lián)數(shù)據(jù)的特點(diǎn)和處理速度要求，對(duì)剩余數(shù)據(jù)倉(cāng)進(jìn)行篩選和匹配分析。通過(guò)合理安排關(guān)聯(lián)數(shù)據(jù)的存儲(chǔ)位置，無(wú)論是與優(yōu)先存儲(chǔ)數(shù)據(jù)一起存儲(chǔ)，還是存儲(chǔ)在處理時(shí)間最短的預(yù)選存儲(chǔ)倉(cāng)中，優(yōu)化了數(shù)據(jù)的存儲(chǔ)布局，提高了數(shù)據(jù)訪問(wèn)和處理的整體效率，為市政道路施工段數(shù)據(jù)的集成管理提供了更科學(xué)、高效的解決方案。