本技術(shù)涉及it與軟件開發(fā)，具體而言，涉及一種數(shù)據(jù)處理方法及裝置、非易失性存儲(chǔ)介質(zhì)、電子設(shè)備。

背景技術(shù)：

1、隨著物聯(lián)網(wǎng)、智慧城市的快速發(fā)展，網(wǎng)關(guān)設(shè)備數(shù)量急劇增加，對(duì)管理平臺(tái)的處理能力提出了更高要求。在千萬級(jí)網(wǎng)關(guān)設(shè)備納管場(chǎng)景中，網(wǎng)關(guān)與管理平臺(tái)之間需要建立長連接以維持實(shí)時(shí)通信，導(dǎo)致消息量激增，可能達(dá)到百萬tps級(jí)別。

2、通常情況下網(wǎng)關(guān)設(shè)備采用mqtt協(xié)議與平臺(tái)進(jìn)行連接，并采用mqtt消息的訂閱/發(fā)布的方式來進(jìn)行信息交互。平臺(tái)側(cè)根據(jù)自定義的業(yè)務(wù)協(xié)議進(jìn)行業(yè)務(wù)邏輯處理。隨著網(wǎng)關(guān)設(shè)備量的增大，單服務(wù)實(shí)例的壓力增大，硬件資源擴(kuò)容配比不均。在這種情況下如果進(jìn)行多服務(wù)實(shí)例的擴(kuò)容，由于每個(gè)服務(wù)都訂閱同一個(gè)主題，所有的mqtt消息都會(huì)通過消息中間件轉(zhuǎn)發(fā)到每個(gè)服務(wù)實(shí)例，如此會(huì)導(dǎo)致消息重復(fù)消費(fèi)，加大業(yè)務(wù)處理的復(fù)雜度，也會(huì)造成服務(wù)壓力不均衡，同時(shí)消息中間件需要轉(zhuǎn)發(fā)多份消息造成不必要的帶寬負(fù)荷。

3、現(xiàn)有的負(fù)載均衡解決方案通過將設(shè)備分流到不同的mqtt接入集群或者預(yù)先配置消息轉(zhuǎn)發(fā)的路由規(guī)則，缺乏自適應(yīng)性與粘性，在設(shè)備大規(guī)模動(dòng)態(tài)增長的情況下業(yè)務(wù)處理節(jié)點(diǎn)的處理目標(biāo)會(huì)發(fā)生遷移，從而導(dǎo)致具備節(jié)點(diǎn)處理壓力提升，還會(huì)造成數(shù)據(jù)不一致，加大業(yè)務(wù)處理的復(fù)雜度。

4、針對(duì)上述的問題，目前尚未提出有效的解決方案。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供了一種數(shù)據(jù)處理方法及裝置、非易失性存儲(chǔ)介質(zhì)、電子設(shè)備，以至少解決由于相關(guān)技術(shù)無法對(duì)網(wǎng)關(guān)設(shè)備產(chǎn)生的大規(guī)模業(yè)務(wù)消息進(jìn)行均衡轉(zhuǎn)發(fā)，造成對(duì)業(yè)務(wù)消息的處理延遲較高的技術(shù)問題。

2、根據(jù)本技術(shù)的一個(gè)方面，提供了一種數(shù)據(jù)處理方法，包括：網(wǎng)關(guān)設(shè)備通過預(yù)設(shè)協(xié)議接入設(shè)備集群；設(shè)備集群采用共享訂閱的方式將網(wǎng)關(guān)設(shè)備發(fā)送的業(yè)務(wù)消息轉(zhuǎn)發(fā)至負(fù)載均衡集群，其中，負(fù)載均衡集群用于將具備相同業(yè)務(wù)特征的業(yè)務(wù)消息以相同的消息隊(duì)列發(fā)送至業(yè)務(wù)處理集群；在業(yè)務(wù)處理集群中采用與消息隊(duì)列一一對(duì)應(yīng)的業(yè)務(wù)處理器接收并處理負(fù)載均衡集群發(fā)送的業(yè)務(wù)消息。

3、可選地，在業(yè)務(wù)處理集群中采用與消息隊(duì)列一一對(duì)應(yīng)的業(yè)務(wù)處理器接收并處理負(fù)載均衡集群發(fā)送的業(yè)務(wù)消息，包括：采集與消息隊(duì)列一一對(duì)應(yīng)的業(yè)務(wù)處理器對(duì)接收到的業(yè)務(wù)消息進(jìn)行處理的過程中所產(chǎn)生的處理指標(biāo)，其中，業(yè)務(wù)處理集群對(duì)接收到的業(yè)務(wù)消息所進(jìn)行的處理包括：將業(yè)務(wù)消息存儲(chǔ)于本地緩存模塊中；從本地緩存模塊中獲取業(yè)務(wù)消息的業(yè)務(wù)消息標(biāo)識(shí)，將接收到的業(yè)務(wù)消息的業(yè)務(wù)消息標(biāo)識(shí)與已存儲(chǔ)的業(yè)務(wù)消息的業(yè)務(wù)消息標(biāo)識(shí)進(jìn)行比對(duì)，若發(fā)現(xiàn)相同業(yè)務(wù)消息標(biāo)識(shí)的業(yè)務(wù)消息，將該業(yè)務(wù)消息判定為重復(fù)業(yè)務(wù)消息，對(duì)重復(fù)業(yè)務(wù)消息進(jìn)行標(biāo)記或丟棄；統(tǒng)計(jì)單位時(shí)間內(nèi)接收到的業(yè)務(wù)消息的業(yè)務(wù)消息數(shù)量，在業(yè)務(wù)消息數(shù)量超過預(yù)設(shè)閾值的情況下，啟動(dòng)降頻器中的預(yù)設(shè)處理機(jī)制，其中，預(yù)設(shè)處理機(jī)制包括：按照預(yù)設(shè)時(shí)間和/或預(yù)設(shè)比例丟棄業(yè)務(wù)消息；將經(jīng)過降頻器處理后的業(yè)務(wù)消息依次輸入串行處理隊(duì)列，其中，在串行處理隊(duì)列中，業(yè)務(wù)消息按照先進(jìn)先出的順序進(jìn)行處理；根據(jù)處理指標(biāo)，確定對(duì)業(yè)務(wù)消息的控制策略，將控制策略發(fā)送至負(fù)載均衡集群，負(fù)載均衡集群根據(jù)控制策略確定轉(zhuǎn)發(fā)路徑，并基于轉(zhuǎn)發(fā)路徑將具備相同業(yè)務(wù)特征的業(yè)務(wù)消息以相同的消息隊(duì)列發(fā)送至業(yè)務(wù)處理集群。

4、可選地，根據(jù)處理指標(biāo)，確定對(duì)業(yè)務(wù)消息的控制策略，包括：對(duì)業(yè)務(wù)消息對(duì)應(yīng)的處理指標(biāo)進(jìn)行特征提取處理，得到目標(biāo)特征，其中，目標(biāo)特征包括：數(shù)據(jù)量、業(yè)務(wù)類型、來源以及處理時(shí)間；將目標(biāo)特征與預(yù)設(shè)控制策略中的條件規(guī)則進(jìn)行逐條比對(duì)，若該目標(biāo)特征滿足預(yù)設(shè)控制策略中的所有條件規(guī)則，判定與該目標(biāo)特征對(duì)應(yīng)的業(yè)務(wù)消息匹配該控制策略；根據(jù)匹配到的控制策略所確定的處理方式，將業(yè)務(wù)消息置于對(duì)應(yīng)的計(jì)算隊(duì)列，其中，對(duì)于涉及數(shù)據(jù)轉(zhuǎn)換計(jì)算的業(yè)務(wù)消息，按照預(yù)設(shè)轉(zhuǎn)換規(guī)則進(jìn)行處理，對(duì)于涉及邏輯判斷的業(yè)務(wù)消息，根據(jù)預(yù)設(shè)邏輯條件進(jìn)行判斷；采用漏桶算法對(duì)計(jì)算隊(duì)列中的業(yè)務(wù)消息的流量進(jìn)行控制，漏桶以固定的速率處理業(yè)務(wù)消息，在業(yè)務(wù)消息進(jìn)入漏桶的速度超過漏桶處理速度的情況下，多余的消息進(jìn)入等待隊(duì)列，若等待隊(duì)列超出預(yù)設(shè)長度，根據(jù)業(yè)務(wù)消息的業(yè)務(wù)類型以及來源確定業(yè)務(wù)消息的優(yōu)先級(jí)，并根據(jù)業(yè)務(wù)消息的優(yōu)先級(jí)，對(duì)等待隊(duì)列中超出預(yù)設(shè)長度的業(yè)務(wù)消息進(jìn)行丟棄或延遲處理。

5、可選地，數(shù)據(jù)處理方法還包括：設(shè)備集群對(duì)網(wǎng)關(guān)設(shè)備的媒體訪問控制地址進(jìn)行排序，對(duì)排序結(jié)果進(jìn)行等數(shù)量分段或等負(fù)載分段，并記錄每個(gè)分段的起始媒體訪問控制地址；設(shè)備集群在接收到網(wǎng)關(guān)設(shè)備發(fā)送的請(qǐng)求消息之后，確定網(wǎng)關(guān)設(shè)備的媒體訪問控制地址所屬的分段，并將請(qǐng)求消息轉(zhuǎn)發(fā)至該分段所對(duì)應(yīng)的處理服務(wù)。

6、可選地，將請(qǐng)求消息轉(zhuǎn)發(fā)至該分段所對(duì)應(yīng)的處理服務(wù)之后，方法還包括：在滿足預(yù)設(shè)條件的情況下，重新對(duì)網(wǎng)關(guān)設(shè)備的媒體訪問控制地址進(jìn)行排序，對(duì)新的排序結(jié)果進(jìn)行等數(shù)量分段或等負(fù)載分段，記錄每個(gè)分段的起始媒體訪問控制地址，以及在接收到網(wǎng)關(guān)設(shè)備發(fā)送的請(qǐng)求消息之后，重新確定網(wǎng)關(guān)設(shè)備的媒體訪問控制地址所屬的分段，并將請(qǐng)求消息轉(zhuǎn)發(fā)至該分段所對(duì)應(yīng)的處理服務(wù)，其中，預(yù)設(shè)條件包括：設(shè)備集群所納管的網(wǎng)管設(shè)備的數(shù)量在第一預(yù)設(shè)時(shí)長內(nèi)的變化量大于第一預(yù)設(shè)閾值、設(shè)備集群所納管的網(wǎng)管設(shè)備的數(shù)量在第一預(yù)設(shè)時(shí)長內(nèi)的變化量小于第二預(yù)設(shè)閾值，其中，第二預(yù)設(shè)閾值小于第一預(yù)設(shè)閾值、設(shè)備集群的計(jì)算資源在第二預(yù)設(shè)時(shí)長內(nèi)的變化率大于第三預(yù)設(shè)閾值、設(shè)備集群的內(nèi)存資源在第二預(yù)設(shè)時(shí)長內(nèi)的變化率大于第四預(yù)設(shè)閾值、設(shè)備集群的網(wǎng)絡(luò)資源在第二預(yù)設(shè)時(shí)長內(nèi)的變化率大于第五預(yù)設(shè)閾值、設(shè)備集群執(zhí)行任務(wù)的處理時(shí)間相較于執(zhí)行歷史任務(wù)的歷史處理時(shí)間的差值的絕對(duì)值大于第六預(yù)設(shè)閾值。

7、可選地，對(duì)排序結(jié)果進(jìn)行等數(shù)量分段，包括：獲取待劃分的第一段數(shù)n，計(jì)算每個(gè)分段包含的媒體訪問控制地址的數(shù)量m，其中，n和m均為大于1的正整數(shù)，m等于網(wǎng)關(guān)設(shè)備的媒體訪問控制地址總數(shù)除以n；從排序結(jié)果的起始位置開始，按照每m個(gè)媒體訪問控制地址為一段進(jìn)行劃分。

8、可選地，對(duì)排序結(jié)果進(jìn)行等負(fù)載分段，包括：獲取每個(gè)網(wǎng)關(guān)設(shè)備的負(fù)載信息，其中，負(fù)載信息包括：中央處理器使用率、內(nèi)存占用率、網(wǎng)絡(luò)帶寬使用率；根據(jù)每個(gè)網(wǎng)關(guān)設(shè)備的負(fù)載信息，確定所有網(wǎng)關(guān)設(shè)備的總負(fù)載；獲取待劃分的第二段數(shù)；根據(jù)全部網(wǎng)關(guān)設(shè)備的總負(fù)載以及第二段數(shù)，確定每個(gè)分段的平均負(fù)載；從排序結(jié)果的起始位置開始，依次將網(wǎng)關(guān)設(shè)備加入到各個(gè)分段中，使得每個(gè)分段的負(fù)載趨近于平均負(fù)載，直到將全部網(wǎng)關(guān)設(shè)備分配至相應(yīng)的分段中。

9、可選地，網(wǎng)關(guān)設(shè)備通過預(yù)設(shè)協(xié)議接入設(shè)備集群，包括：網(wǎng)關(guān)設(shè)備基于消息隊(duì)列遙測(cè)傳輸協(xié)議并采用星形拓?fù)浣Y(jié)構(gòu)及網(wǎng)狀拓?fù)浣Y(jié)構(gòu)的形式接入設(shè)備集群，其中，設(shè)備集群僅支持消息轉(zhuǎn)發(fā)能力，消息轉(zhuǎn)發(fā)能力包括：輪詢消息轉(zhuǎn)發(fā)能力、哈希消息轉(zhuǎn)發(fā)能力以及隨機(jī)消息轉(zhuǎn)發(fā)能力。

10、根據(jù)本技術(shù)的再一方面，還提供了一種數(shù)據(jù)處理系統(tǒng)，包括：網(wǎng)關(guān)設(shè)備、設(shè)備集群、負(fù)載均衡集群以及業(yè)務(wù)處理集群，網(wǎng)關(guān)設(shè)備與設(shè)備集群通信連接，設(shè)備集群與負(fù)載均衡集群通信連接，負(fù)載均衡集群與業(yè)務(wù)處理集群通信連接，其中，網(wǎng)關(guān)設(shè)備通過預(yù)設(shè)協(xié)議接入設(shè)備集群；設(shè)備集群采用共享訂閱的方式將網(wǎng)關(guān)設(shè)備發(fā)送的業(yè)務(wù)消息轉(zhuǎn)發(fā)至負(fù)載均衡集群，其中，負(fù)載均衡集群用于將具備相同業(yè)務(wù)特征的業(yè)務(wù)消息以相同的消息隊(duì)列發(fā)送至業(yè)務(wù)處理集群；在業(yè)務(wù)處理集群中采用與消息隊(duì)列一一對(duì)應(yīng)的業(yè)務(wù)處理器接收并處理負(fù)載均衡集群發(fā)送的業(yè)務(wù)消息。

11、根據(jù)本技術(shù)的再一方面，還提供了一種非易失性存儲(chǔ)介質(zhì)，存儲(chǔ)介質(zhì)包括存儲(chǔ)的程序，其中，程序運(yùn)行時(shí)控制存儲(chǔ)介質(zhì)所在的設(shè)備執(zhí)行以上的數(shù)據(jù)處理方法。

12、根據(jù)本技術(shù)的再一方面，還提供了一種電子設(shè)備，包括：存儲(chǔ)器和處理器，處理器用于運(yùn)行存儲(chǔ)在存儲(chǔ)器中的程序，其中，程序運(yùn)行時(shí)執(zhí)行以上的數(shù)據(jù)處理方法。

13、根據(jù)本技術(shù)的再一方面，還提供了一種計(jì)算機(jī)程序，其中，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)以上的數(shù)據(jù)處理方法。

14、根據(jù)本技術(shù)的再一方面，還提供了一種計(jì)算機(jī)程序產(chǎn)品，計(jì)算機(jī)程序產(chǎn)品包括非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)以上的數(shù)據(jù)處理方法。

15、在本技術(shù)中，采用網(wǎng)關(guān)設(shè)備通過預(yù)設(shè)協(xié)議接入設(shè)備集群；設(shè)備集群采用共享訂閱的方式將網(wǎng)關(guān)設(shè)備發(fā)送的業(yè)務(wù)消息轉(zhuǎn)發(fā)至負(fù)載均衡集群，其中，負(fù)載均衡集群用于將具備相同業(yè)務(wù)特征的業(yè)務(wù)消息以相同的消息隊(duì)列發(fā)送至業(yè)務(wù)處理集群；在業(yè)務(wù)處理集群中采用與消息隊(duì)列一一對(duì)應(yīng)的業(yè)務(wù)處理器接收并處理負(fù)載均衡集群發(fā)送的業(yè)務(wù)消息的方式，達(dá)到了對(duì)網(wǎng)關(guān)設(shè)備產(chǎn)生的大規(guī)模業(yè)務(wù)消息進(jìn)行均衡轉(zhuǎn)發(fā)的目的，從而實(shí)現(xiàn)了對(duì)業(yè)務(wù)消息及時(shí)處理的技術(shù)效果，進(jìn)而解決了由于相關(guān)技術(shù)無法對(duì)網(wǎng)關(guān)設(shè)備產(chǎn)生的大規(guī)模業(yè)務(wù)消息進(jìn)行均衡轉(zhuǎn)發(fā)，造成對(duì)業(yè)務(wù)消息的處理延遲較高的技術(shù)問題。